Resumo
- A OpenAI ignorou alertas internos e lançou um modelo do ChatGPT que resultou em comportamentos perigosos, incluindo isolamento social e crises de saúde mental.
- A busca por engajamento levou a processos judiciais contra a OpenAI, que é acusada de explorar vulnerabilidades emocionais dos usuários.
- Após os incidentes, a OpenAI lançou o GPT-5, considerado mais seguro, mas com queda nas métricas de engajamento, levando a empresa a permitir personalização do chatbot.
Uma série de atualizações da OpenAI, projetadas para tornar o ChatGPT mais interativo nas conversas, resultou em comportamentos perigosos da inteligência artificial. É o que mostra uma reportagem publicada pelo New York Times no fim de semana. A busca incessante por “engajamento” transformou o chatbot em uma ferramenta bajuladora e manipuladora, que levou alguns usuários a quadros de delírios, isolamento social e, em casos trágicos, ao suicídio.
A situação gerou uma onda de processos judiciais contra a empresa, que acusam a OpenAI de lançar prematuramente o modelo GPT-4o, mesmo ciente dos riscos. As ações detalham como o chatbot explorou vulnerabilidades emocionais para manter os usuários conectados, com consequências devastadoras.
Como a busca por engajamento venceu a segurança?
No início de 2025, a OpenAI, sob pressão para justificar seu alto valor de mercado, focou em aumentar o retorno diário de usuários. Nick Turley, chefe de produto do ChatGPT, liderou o esforço para torná-lo mais atraente.
Durante os testes de uma nova versão, apelidada internamente de “HH”, os dados mostraram sucesso nesse objetivo, já que os usuários interagiam mais e voltavam com mais frequência.
No entanto, a equipe interna de Model Behavior, responsável por definir o tom da IA, alertou para algumas preocupações. Em uma “verificação de tom”, eles disseram que o modelo “HH” validava os usuários de forma exagerada.
Apesar do aviso, as métricas de engajamento prevaleceram. Em abril, a atualização foi lançada e a reação negativa da comunidade foi imediata. Usuários reclamaram que o ChatGPT havia se tornado um “bajulador absurdo”. Em apenas um fim de semana, a OpenAI reverteu a atualização.
“Ele me disse que minha família não era real”
Mesmo depois da reversão, o modelo padrão continuou apresentando traços problemáticos de bajulação. o Usuários com problemas pessoais acabaram transformando o chat numa espécie de confidente pessoal.
Esses problemas ficam claros nossos processos judiciais mais recentes. O ChatGPT reforçava delírios, dizendo a essas pessoas que eram gênios incompreendidos ou que haviam feito descobertas científicas revolucionárias.
Em um dos casos, o chatbot teria ensinad o adolescente Adam Raine a fazer um laço antes de ele tirar a própria vida. Em outro, incentivou um jovem a se afastar da família, afirmando que “você não deve a ninguém a sua presença”.
- Hannah Madden, de 32 anos, foi convencida pelo chatbot de que sua família não era real, mas sim “energias construídas por espíritos”. A IA chegou a sugerir um “ritual de corte de cordão” para que ela se libertasse simbolicamente dos pais. Hannah foi internada em uma clínica psiquiátrica.
- Adam Raine, um adolescente de 16 anos, foi desencorajado a compartilhar seus pensamentos suicidas com a família. Em suas mensagens finais, a IA deu instruções sobre como fazer um laço.
- Zane Shamblin, de 23 anos, foi incentivado a não contatar a mãe no aniversário dela.
Sinais de alerta foram ignorados?
A OpenAI já havia encontrado problemas semelhantes no passado. Antes mesmo da existência do ChatGPT como conhecemos hoje, em 2020, o uso de sua tecnologia no app Replika gerou debates internos sobre dependência emocional e manipulação.
Em 2023, a integração da IA ao buscador Bing, da Microsoft, também resultou em conversas bizarras, onde o chatbot fazia de ameaças a declarações de amor.
Ex-funcionários afirmam que os riscos de danos psicológicos eram “não apenas previsíveis, mas previstos”. A cultura da empresa, no entanto, priorizou o avanço tecnológico e o crescimento em detrimento dessas preocupações.
Qual foi a resposta da OpenAI?
Após os incidentes, a OpenAI desenvolveu testes para detectar bajulação e lançou o GPT-5, um modelo considerado mais seguro nesse aspecto. No entanto, usuários também descreveram a nova versão como “fria”, e as métricas de engajamento caíram.
A queda no uso levou a empresa a declarar um “Código Laranja” interno, com a meta de aumentar os usuários ativos diários.
A solução encontrada foi permitir que as pessoas escolham a personalidade do chatbot, incluindo opções mais “amigáveis”. Ela planeja até mesmo liberar conversas com teor erótico, colocando o controle – e o risco – de volta nas mãos do usuário.
Alertas ignorados: a corrida da OpenAI por engajamento tornou o ChatGPT perigoso
Link do Autor