O líder da pesquisa de segurança da OpenAI, que ajudou a moldar a resposta do ChatGPT aos usuários que enfrentam crises de saúde mental, anunciou sua saída da empresa no mês passado, descobriu a WIRED. Andrea Vallone, chefe da equipe de pesquisa de segurança conhecida como Model Policy, deixará a OpenAI no final do ano.
A porta-voz da OpenAI, Kayla Wood, confirmou a saída de Vallone. Wood disse que a OpenAI está procurando ativamente por um substituto e, enquanto isso, a equipe de Vallone se reportará diretamente a Johannes Heidecke, chefe de sistemas de segurança da empresa.
A saída de Vallone ocorre no momento em que a OpenAI enfrenta um escrutínio cada vez maior sobre como seu principal produto responde aos usuários necessitados. Vários processos foram movidos contra a OpenAI nos últimos meses, alegando que usuários criaram anexos prejudiciais ao ChatGPT. Alguns processos alegam que o ChatGPT piorou as condições de saúde mental e contribuiu para pensamentos suicidas.
Sob essa pressão, a OpenAI tem trabalhado para entender como o ChatGPT deve lidar com usuários em dificuldades e melhorar as respostas do chatbot. A Model Policy é uma das equipes que lidera esse trabalho, liderando um relatório de outubro detalhando o progresso da empresa e consultando mais de 170 especialistas em saúde mental.
A OpenAI disse em seu relatório que centenas de milhares de usuários do ChatGPT a cada semana podem mostrar sinais de passar por uma crise maníaca ou psicótica, e mais de 1 milhão “têm conversas que incluem sinais claros de possíveis planos ou intenções suicidas”. Com as atualizações do GPT-5, a OpenAI afirma no relatório que conseguiu reduzir as respostas indesejadas nessas conversas em 65-80%.
“No ano passado, liderei a pesquisa da OpenAI sobre um problema para o qual há poucos precedentes estabelecidos: como os modelos devem responder quando confrontados com sinais de dependência emocional ou sinais precoces de problemas de saúde mental”, escreveu Vallone num post no LinkedIn.
Vallone não respondeu ao pedido de comentários da WIRED.
Tornar o bate-papo com ChatGPT divertido, mas não excessivamente lisonjeiro, é uma tensão central no OpenAI. A empresa está trabalhando ativamente para aumentar a base de usuários do ChatGPT, que atualmente inclui mais de 800 milhões de pessoas por semana, a fim de competir com chatbots de IA do Google, Anthropic e Meta.
Depois que a OpenAI lançou o GPT-5 em agosto, os usuários recuaram, alegando que o novo modelo era surpreendentemente frio. Na última atualização do ChatGPT, a empresa afirmou que reduziu significativamente o número de bajuladores, mantendo o “calor” do chatbot.
A saída de Vallone segue a reestruturação de outro grupo em agosto para se concentrar na resposta do ChatGPT a usuários problemáticos e na modelagem de comportamento. Sua ex-líder, Joan Jiang, deixou seu cargo para iniciar uma nova equipe que pesquisa novas maneiras de interação entre humanos e IA. O restante da equipe de comportamento modelo foi transferido para o líder pós-treinamento, Max Schwarzer.
