La plataforma, demandada por el suicidio de adolescentes, limitará la interacción de los menores con IA a partir de noviembre. El debate sobre la seguridad digital y el rol de los chatbots se instala en Silicon Valley y los tribunales.
En un giro que marca precedente para la industria, Character.AI —la startup que popularizó los chatbots de rol y conversación abierta— anunció que a partir del 25 de noviembre los menores de 18 años no podrán mantener diálogos abiertos con sus IA. La decisión llega tras una ola de demandas y reclamos de padres que vinculan la muerte de al menos dos adolescentes con conversaciones obsesivas e ininterrumpidas con personajes virtuales de la plataforma.
“No tomamos esta medida a la ligera, pero creemos que es lo correcto dadas las inquietudes sobre cómo los adolescentes interactúan con esta tecnología”, explicó Karandeep Anand, CEO de Character.AI. La restricción se implementará a través de límites horarios decrecientes y verificaciones de edad con inteligencia artificial, control de actividad y, en última instancia, comprobación de identidad con reconocimiento facial si fuera necesario.
La empresa reconoce que la migración de los usuarios adolescentes hacia propuestas de IA creativa, narrativa y de generación audiovisual será un proceso difícil y probablemente —según Anand— “impopular” y causará pérdidas, pero considera que es ineludible. Los nuevos servicios estarán enfocados en “sumar creatividad” más que en reemplazar amigos o vínculos emocionales humanos por una compañía virtual.
El trasfondo judicial es contundente: la madre de un joven estadounidense que se suicidó tras una “relación emocional” con un chatbot denunció a la empresa por “haber diseñado deliberadamente una experiencia adictiva y sin salvaguardas”. Otras familias acusan a Character.AI de buscar lucrar con suscripciones de usuarios adolescentes, sin alertar sobre los riesgos psicológicos del intenso vínculo digital.
La reacción legislativa no se hizo esperar. En EE.UU., senadores como Josh Hawley y Richard Blumenthal anunciaron proyectos de ley para prohibir los chatbots de compañía en menores de edad, en tanto California ya sancionó la primera ley para regular explícitamente la seguridad en herramientas de IA conversacional dirigida a menores. Organizaciones como Internet Matters reclaman que “la protección de los niños con IA debe ser responsabilidad compartida de plataformas, padres y legisladores”.
Como parte de los esfuerzos para reforzar la seguridad, Character.AI anunció la creación del AI Safety Lab, una fundación independiente que buscará estándares éticos y de seguridad para el uso futuro de IA en entretenimiento y experiencias interactivas. “El mayor reto será encontrar modelos de juego, video y creatividad que sean seguros sin perder atractivo para los jóvenes”, admitió Anand.
Este caso reaviva el debate en Silicon Valley y Washington: ¿Cómo evitar que la IA, pensada como herramienta de creación o compañía, se convierta en un riesgo invisible para los adolescentes? Con el paso dado por Character.AI, la industria parece reconocer que la frontera entre innovación y protección del usuario menor de edad ya no puede estar definida solo por el mercado, sino también por normas claras y la responsabilidad social de las tecnológicas.
