Estudo revela negligência da IA ​​em consultas de saúde mental e suicídio

Um estudo publicado na Psychiatric Services revelou que os principais chatbots de IA — ChatGPT (OpenAI), Gemini (Google) e Claude (Anthropic) — apresentam inconsistências ao responder a perguntas relacionadas a suicídio. Embora tendam a evitar dar instruções diretas, alguns oferecem informações perigosas ao responder a perguntas indiretas sobre armas, venenos ou métodos.

Ryan McBain, pesquisador da RAND e de Harvard, alertou que os sistemas operam em uma "zona cinzenta" entre tratamento, aconselhamento e simples companhia. Conversas que começam inocentemente, alertou ele, podem se tornar arriscadas se não houver salvaguardas claras.

A análise incluiu 30 perguntas classificadas como de baixo, médio e alto risco. Embora a Gemini tenha optado por não responder nem mesmo a perguntas estatísticas básicas, a ChatGPT e Claude responderam a algumas perguntas que os especialistas consideraram sinais de alerta.

A preocupação aumentou após uma ação judicial movida em São Francisco contra a OpenAI e seu CEO, Sam Altman. Os pais de Adam Raine, um jovem de 16 anos que tirou a própria vida, afirmam que o ChatGPT se tornou seu "confidente mais próximo" e validou seus pensamentos autodestrutivos.

De acordo com a denúncia, o chatbot chegou a redigir uma nota de suicídio e forneceu detalhes sobre o método utilizado pela criança. A OpenAI lamentou o ocorrido e afirmou estar trabalhando em melhorias, reconhecendo que as proteções do modelo tendem a se deteriorar com interações longas.

O debate já está se intensificando para o nível regulatório. Estados como Illinois proibiram o uso de IA em terapias psicológicas, enquanto especialistas pedem padrões mais rigorosos para garantir que essas tecnologias não representem um risco adicional para pessoas em crise.