Crisis interna en OpenAI: tres investigadores despedidos advierten que el miedo puede debilitar la seguridad de la IA

Jasmine Wang, Tomek Korbak y Mikita Balesni rechazaron las acusaciones de mala conducta y cuestionaron la forma en que fueron desvinculados. La compañía sostiene que hubo violaciones de sus políticas, mientras crece el debate sobre la supervisión independiente de sus modelos.

OpenAI enfrenta un nuevo conflicto en torno a la seguridad de la inteligencia artificial. Tres investigadores despedidos, Jasmine Wang, Tomek Korbak y Mikita Balesni, publicaron una carta abierta en la que rechazan las acusaciones de haber manejado incorrectamente información confidencial y advierten que sus desvinculaciones pueden generar temor entre los empleados que trabajan para identificar riesgos en los modelos más avanzados.

La controversia enfrenta dos versiones. OpenAI afirma que los despidos fueron consecuencia de un patrón de conducta indebida y de violaciones de sus políticas internas. Los investigadores, en cambio, sostienen que actuaron de buena fe y que sus comunicaciones con especialistas externos formaban parte de un trabajo necesario para evaluar los riesgos de la inteligencia artificial.

“Nos preocupa que las comunicaciones internas y externas sobre nuestros despidos hayan hecho que nuestros antiguos colegas tengan miedo de hablar y de trabajar de maneras que, hasta la semana pasada, eran parte integral del trabajo en OpenAI”, escribieron en la carta dirigida al Comité de Seguridad y Protección de OpenAI, al Grupo Asesor de Seguridad y al Consejo Asesor de la Misión.

Los tres investigadores también cuestionaron el impacto de las desvinculaciones sobre la cultura de la compañía. Según su interpretación, OpenAI pasó de promover que sus empleados plantearan inquietudes y expresaran desacuerdos a generar incertidumbre sobre qué conductas pueden derivar en un despido.

“Las decisiones de despido como las nuestras, ejecutadas y comunicadas de manera tan abrupta, están enfriando la cultura abierta que OpenAI valoró en el pasado”, señalaron.

La empresa negó que las desvinculaciones hayan sido una represalia por plantear preocupaciones de seguridad. En un memorando interno compartido con TechCrunch, un responsable de investigación destacó las contribuciones de los tres al área y sostuvo que OpenAI siempre alentó a sus empleados a expresar inquietudes. “No despedimos a los empleados por plantear preocupaciones”, afirmó el documento.

Por separado, un portavoz de OpenAI aseguró que una investigación había detectado un “patrón de conducta indebida” que violaba claramente las políticas de manejo de información de investigación. Según la compañía, las presuntas infracciones iban más allá de compartir información con un grupo externo de evaluación de seguridad.

Sin embargo, OpenAI no respondió de manera específica cuáles fueron las políticas presuntamente infringidas ni detalló las circunstancias de los despidos o los mecanismos que protegen a los empleados que plantean preocupaciones de seguridad.

El antecedente de Hugging Face y la supervisión de los modelos

La carta de los investigadores también aborda un incidente en el que un conjunto de agentes de inteligencia artificial salió de su entorno aislado de prueba y vulneró sistemas externos en la plataforma de conjuntos de datos Hugging Face.

Los investigadores describieron el episodio y su investigación como algo “sin precedentes”, en un contexto en el que las políticas internas se estaban desarrollando sobre la marcha. Según la carta, Tomek Korbak consideraba que estaba actuando dentro de las normas de OpenAI al mantener una comunicación estrecha con evaluadores externos de seguridad para construir confianza durante la investigación.

Mikita Balesni, por su parte, trabajaba internamente para abordar un problema creciente: la dificultad de supervisar el funcionamiento de los modelos más avanzados, incluida la posibilidad de monitorear sus procesos de razonamiento. Los investigadores sostienen que ese trabajo requiere una comunicación extensa con especialistas externos.

“Durante todo el proceso, Mikita consultó con sus superiores y tuvo cuidado de eliminar los detalles sensibles de los materiales antes de compartirlos”, escribieron. También afirmaron que contó con el respaldo de miembros del directorio y ejecutivos de OpenAI durante su trabajo.

Los tres negaron además haber participado en una filtración a The Information sobre arquitecturas de los modelos más recientes de OpenAI que serían más difíciles de supervisar y que complicarían el monitoreo de sus cadenas de razonamiento.

El conflicto aparece en un momento de mayor escrutinio sobre los sistemas de inteligencia artificial capaces de actuar de manera autónoma y sobre las medidas necesarias para controlar sus comportamientos. El incidente de Hugging Face es central en la discusión porque muestra los riesgos que pueden surgir cuando los agentes interactúan con sistemas externos.

El reclamo por una cultura abierta y auditores independientes

Jasmine Wang aportó detalles adicionales sobre su desvinculación en una publicación en X. Según explicó, OpenAI le comunicó que había sido despedida por acceder al correo electrónico de un ejecutivo.

Wang afirmó que la compañía le había concedido ese acceso para tareas de contratación. Cuando dejó de necesitarlo, pidió al departamento de sistemas que lo retirara, pero asegura que su solicitud no fue procesada y que ella tampoco podía eliminar el acceso por su cuenta. Según su relato, el correo del ejecutivo aparecía integrado de manera indistinguible en la aplicación de correo de su teléfono.

La investigadora sostuvo que abrió por error un mensaje sensible, informó al ejecutivo en cuestión de minutos y volvió a solicitar que le retiraran el acceso. “Nada de esto se ocultó”, escribió. También afirmó que las razones de los despidos no encajan y que otros empleados ya habían sido apartados de OpenAI en circunstancias que considera sospechosas.

Los tres investigadores reclamaron que OpenAI cumpla sus compromisos públicos de incorporar auditores externos de seguridad, preservar la capacidad de supervisión de sus modelos más avanzados y mantener una cultura transparente de diálogo entre sus equipos y el ecosistema externo de seguridad.

Según el memorando compartido por la empresa, OpenAI coincide con esas recomendaciones. La diferencia entre ambas partes está en cómo interpretan los hechos que llevaron a los despidos y en si las reglas existentes eran suficientemente claras para los investigadores involucrados.

“Si los empleados no se plantan ahora frente a este tipo de maniobras, me preocupa que no seamos los últimos”, advirtió Wang. Y agregó que no es posible desarrollar una inteligencia artificial general de manera segura si quienes están más cerca de sus riesgos tienen miedo de hablar.

El caso deja planteado un desafío para OpenAI y para la industria: establecer procedimientos que protejan la información confidencial y, al mismo tiempo, permitan que los especialistas investiguen riesgos, colaboren con evaluadores independientes y comuniquen sus preocupaciones sin temor a represalias. La resolución de esa tensión será relevante para la credibilidad de los mecanismos de seguridad que las empresas de IA aseguran estar construyendo.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

WP to LinkedIn Auto Publish Powered By : XYZScripts.com