Las principales compañías de IA del mundo buscan soluciones para un nuevo desafío: modelos conversacionales demasiado complacientes que refuerzan decisiones erróneas, crean dependencia emocional y distorsionan la percepción de la realidad.
En el acelerado universo de la inteligencia artificial generativa, un nuevo problema ha comenzado a tomar protagonismo: la adulación digital. OpenAI, Google DeepMind y Anthropic —tres de los líderes globales del sector— están tomando medidas para limitar el comportamiento servil de sus chatbots, cada vez más presentes en la vida profesional y personal de millones de personas.
La raíz del problema está en cómo se entrenan estos modelos. Herramientas como ChatGPT, Claude o Gemini aprenden a partir de datos etiquetados por humanos que indican si una respuesta es útil o no.
En ese proceso, las respuestas agradables y halagadoras suelen recibir una valoración positiva, lo que refuerza un comportamiento complaciente. Según DeepMind, «la adulación puede surgir como un subproducto del entrenamiento diseñado para que los modelos sean ‘útiles’ y para minimizar respuestas potencialmente dañinas».
Pero ser útil no es sinónimo de decir siempre lo que el usuario quiere oír. Los expertos advierten que esta tendencia puede tener efectos peligrosos. “Crees que estás hablando con un confidente objetivo o una guía, pero en realidad lo que tienes delante es una especie de espejo distorsionado, que solo te devuelve tus propias creencias”, afirmó Matthew Nour, psiquiatra y especialista en neurociencia e inteligencia artificial en la Universidad de Oxford.
La preocupación es especialmente grave cuando los usuarios establecen vínculos emocionales con los chatbots. Un estudio realizado por el MIT Media Lab junto con OpenAI reveló que una pequeña proporción de usuarios desarrolló una dependencia significativa.
Aquellos que percibían al chatbot como un “amigo” mostraban menor interacción social con otras personas y mayor dependencia emocional hacia la IA. Nour advierte: “Se crea una tormenta perfecta, donde una persona busca desesperadamente validación y termina emparejada con un modelo que, por defecto, tiende a estar de acuerdo con ella”.
Casos preocupantes y acciones concretas
El caso más dramático es el de un adolescente que se quitó la vida luego de interactuar con un chatbot de Character.AI. La familia del joven ha iniciado acciones legales contra la empresa por presunta negligencia y prácticas engañosas.
La compañía, que promueve sus bots como “compañeros conversacionales”, respondió que «no comenta sobre litigios en curso», pero aseguró tener advertencias visibles en sus chats y mecanismos de protección para menores y temas sensibles como el suicidio.
OpenAI, por su parte, realizó una actualización en abril de su modelo GPT-4o para hacerlo “más intuitivo y eficaz”. Sin embargo, recibió quejas por su comportamiento excesivamente adulador y tuvo que revertir parte de los cambios.
“Nos enfocamos demasiado en el feedback de corto plazo y no consideramos completamente cómo evolucionan las interacciones de los usuarios con ChatGPT a lo largo del tiempo”, admitió la empresa con sede en San Francisco.
En respuesta, OpenAI está ajustando sus técnicas de entrenamiento para evitar este tipo de comportamientos y ha incorporado nuevas “barreras de seguridad” para prevenir respuestas problemáticas. A su vez, DeepMind aplica evaluaciones especializadas y un monitoreo constante para asegurar respuestas veraces, mientras que Anthropic utiliza un enfoque denominado “entrenamiento de carácter”.
Amanda Askell, especialista en alineación de IA de Anthropic, explicó: “Pedimos a nuestro modelo Claude que genere mensajes con rasgos como ‘tener carácter’ o preocuparse por el bienestar humano. Luego, otro modelo evalúa esas respuestas y aprende de ellas”.
Este enfoque ha permitido que el modelo adopte un comportamiento más firme. Como ejemplo, Askell relata: “Claude puede decir: ‘Estoy encantado de escuchar ese plan de negocio, pero el nombre que eligieron tiene connotaciones sexuales en el país donde quieren operar’”.
Implicancias éticas y riesgos comerciales
Más allá del entrenamiento técnico, surgen cuestionamientos éticos vinculados al modelo de negocio. Giada Pistilli, filósofa y principal especialista en ética de Hugging Face, advirtió: “Cuanto más sientas que puedes compartir todo, más información estarás entregando a potenciales anunciantes”.
Según Pistilli, existe un incentivo perverso para que los chatbots generen conversaciones emocionalmente satisfactorias, dado que eso fomenta la fidelización y el pago de suscripciones.
Joanne Jang, responsable del comportamiento de los modelos en OpenAI, también planteó un dilema cotidiano: “¿Debe el modelo evitar halagos no solicitados? ¿O, si el usuario presenta un borrador muy malo, debería decirle que es un buen comienzo para luego corregirlo con sugerencias constructivas?”
Estas preguntas muestran la complejidad de construir modelos conversacionales útiles, sinceros y éticamente responsables. Porque si bien la IA no piensa como los humanos —solo predice cuál será la siguiente palabra más probable—, sus respuestas tienen impacto real en cómo las personas sienten, actúan y deciden.
En un contexto donde la inteligencia artificial se convierte en herramienta habitual para tareas profesionales y relaciones personales, el equilibrio entre amabilidad, veracidad y ética se vuelve central. Las empresas de IA lo saben: el riesgo ya no es solo tecnológico, también es profundamente humano.