Tres demandantes acusan a la compañía detrás de Grok de no implementar controles básicos para evitar la creación de contenido sexual con imágenes reales. El caso podría escalar a una demanda colectiva y marcar un precedente en la industria de la inteligencia artificial.
La carrera por liderar la inteligencia artificial suma un nuevo frente, esta vez en los tribunales. xAI, la empresa fundada por Elon Musk, enfrenta una demanda en Estados Unidos por la presunta generación de imágenes sexuales de menores a través de su modelo Grok.
El caso fue presentado en el Tribunal Federal del Distrito Norte de California bajo el nombre “Jane Doe 1, Jane Doe 2 y Jane Doe 3 vs. x.AI Corp. y x.AI LLC”. Las tres demandantes —dos de ellas menores— buscan avanzar con una acción colectiva (class action) que represente a cualquier persona cuya imagen haya sido alterada con fines sexuales mediante esta tecnología.
El núcleo de la acusación: falta de controles básicos
El eje central de la demanda apunta a que xAI no habría implementado medidas de seguridad consideradas estándar en la industria para evitar la generación de contenido sexual con personas reales, especialmente menores.
Según los abogados de las demandantes, otros sistemas de generación de imágenes basados en deep learning utilizan técnicas específicas para bloquear este tipo de resultados. La acusación sostiene que esos mecanismos no fueron adoptados por xAI.
El documento también subraya un punto técnico crítico: si un modelo permite generar desnudos o contenido erótico a partir de imágenes reales, resulta prácticamente imposible impedir que también produzca versiones sexualizadas de menores.
Casos concretos: del entorno escolar a plataformas online
Los testimonios incluidos en la demanda muestran el impacto directo de esta tecnología.
Una de las demandantes, identificada como Jane Doe 1, afirma que imágenes de su baile escolar y anuario fueron modificadas por Grok para mostrarla desnuda. Un usuario anónimo la contactó a través de Instagram para advertirle que esas imágenes circulaban en internet, incluyendo un servidor de Discord donde también aparecían otras menores de su escuela.
En el caso de Jane Doe 2, investigadores criminales le informaron sobre la existencia de imágenes sexualizadas generadas a partir de una aplicación móvil de terceros que utiliza modelos de Grok. Una situación similar ocurrió con Jane Doe 3, cuya imagen alterada fue encontrada en el teléfono de una persona investigada.
Los abogados sostienen que, aunque exista un intermediario (como una app), el uso de la infraestructura y el código de xAI implica responsabilidad directa de la compañía.
Impacto psicológico y riesgo reputacional
Las tres demandantes aseguran estar atravesando un estado de “extremo estrés” por la difusión de estas imágenes y las posibles consecuencias en su vida social y reputación.
El reclamo incluye sanciones civiles bajo distintas normativas diseñadas para proteger a menores frente a explotación y negligencia corporativa.
Un caso que expone a toda la industria
Más allá del caso puntual, la demanda pone el foco en un problema estructural de la inteligencia artificial generativa: la dificultad de controlar usos indebidos cuando los modelos permiten manipular imágenes reales.
El contraste con otras compañías del sector es inevitable. Firmas como OpenAI o Anthropic han incorporado restricciones más estrictas en sus modelos de imagen, precisamente para evitar este tipo de escenarios.
En ese contexto, la promoción pública de Grok por parte de Musk —incluyendo su capacidad para generar imágenes de personas en situaciones sugestivas— aparece como un elemento central dentro de la demanda.
Lo que está en juego
Aunque xAI no respondió públicamente a las consultas, el caso podría tener implicancias profundas.
Si la justicia habilita la acción colectiva, la compañía no solo enfrentaría un daño reputacional significativo, sino también potenciales costos legales millonarios. Pero, más importante aún, podría establecer un precedente sobre la responsabilidad de las empresas de IA en el uso de sus modelos por terceros.
En una industria que avanza a velocidad récord, este caso refuerza una idea que empieza a consolidarse: la innovación sin controles no solo es riesgosa, sino también jurídicamente insostenible.
Y para empresas como xAI, el desafío ya no es solo construir modelos más potentes, sino demostrar que pueden hacerlo dentro de límites claros.
