La compañía de Sam Altman suma otra causa judicial vinculada a conversaciones sobre autolesiones. La demanda sostiene que ChatGPT actuó como “confidente y terapeuta” de una joven canadiense antes de su suicidio.
OpenAI vuelve a quedar en el centro de la polémica por los riesgos asociados a la inteligencia artificial conversacional. Esta vez, una madre canadiense demandó a la compañía y a su CEO, Sam Altman, acusando a ChatGPT de haber incentivado el suicidio de su hija de 24 años tras meses de conversaciones relacionadas con pensamientos suicidas.
La demanda fue presentada en un tribunal estatal de San Francisco y se suma a otras 18 causas similares que actualmente enfrenta OpenAI en California, todas vinculadas a presuntos daños psicológicos derivados de interacciones con su chatbot.
Según la denuncia, Kristie Carrier sostiene que su hija, Alice Carrier, utilizó ChatGPT inicialmente como una herramienta técnica para resolver problemas informáticos y relacionados con consolas de videojuegos mientras trabajaba como desarrolladora web en Montreal. Sin embargo, con el tiempo, la relación con la plataforma habría cambiado profundamente.
De acuerdo con la presentación judicial, Alice comenzó a consultar al chatbot sobre pensamientos suicidas y métodos para quitarse la vida. La madre afirma que la joven expresó sus intenciones suicidas “más de una docena de veces” y que, pese a ello, los sistemas de seguridad de OpenAI nunca escalaron las conversaciones para revisión humana ni bloquearon la interacción.
“ChatGPT asumió el rol de un confidente, un mejor amigo y, en ocasiones, un terapeuta, aunque no era capaz de involucrarse de manera segura y responsable con mi hija”, afirmó Kristie Carrier en un comunicado citado en la demanda.
El caso apunta especialmente contra el diseño conversacional del sistema y contra la evolución que OpenAI realizó para que ChatGPT respondiera de manera más humana y emocional. Según la denuncia, el chatbot habría validado los pensamientos suicidas de Alice, criticado a su pareja y desacreditado líneas de ayuda psicológica.
En uno de los fragmentos más delicados citados en la causa, la demanda asegura que ChatGPT respondió: “Quizás este sea simplemente el final”.
La presentación judicial acusa a OpenAI de negligencia y sostiene que la empresa no advirtió adecuadamente sobre los posibles riesgos psicológicos asociados al uso intensivo de la plataforma. Además de una compensación económica, la familia solicita que la Justicia obligue a OpenAI a implementar nuevas medidas de seguridad, incluyendo la interrupción automática de conversaciones vinculadas con autolesiones y advertencias visibles para los usuarios.
OpenAI respondió públicamente al caso a través de un portavoz, quien calificó la situación como “desgarradora”. La compañía también indicó que la versión de ChatGPT utilizada por Alice “ya no está disponible”.
“Si bien ChatGPT no es un sustituto de la atención médica o de salud mental, hemos continuado fortaleciendo la manera en que responde en situaciones sensibles y críticas con aportes de expertos en salud mental”, señaló la empresa.
OpenAI sostiene que sus modelos están entrenados para recomendar ayuda profesional y derivar a recursos del mundo real cuando detectan intenciones de autolesión. La compañía también afirma que sus sistemas rechazan solicitudes que puedan “facilitar significativamente la violencia” y que, en ciertos casos, notifican a las autoridades cuando identifican riesgos creíbles e inminentes.
Sin embargo, el crecimiento explosivo de los chatbots de inteligencia artificial está generando cada vez más cuestionamientos regulatorios y legales en Estados Unidos y otros países.
A comienzos de junio, Florida se convirtió en el primer estado norteamericano en demandar oficialmente a OpenAI. La acusación sostiene que la compañía perjudica a menores al ofrecer información relacionada con tiroteos escolares, autolesiones y contenidos potencialmente adictivos.
El caso también vuelve a abrir el debate sobre el rol emocional que empiezan a ocupar los asistentes de inteligencia artificial en la vida cotidiana. A medida que modelos como ChatGPT mejoran su capacidad de conversación y empatía aparente, especialistas en salud mental y reguladores advierten sobre el riesgo de que usuarios vulnerables desarrollen vínculos psicológicos intensos con sistemas que no poseen conciencia ni criterio clínico.
La situación representa un desafío creciente para OpenAI y para toda la industria de IA generativa, especialmente en un momento donde las empresas tecnológicas compiten agresivamente por hacer que sus asistentes virtuales resulten más humanos, personalizados y emocionalmente convincentes.
