Agentes de OpenAI, Anthropic, Meta y Moonshot AI lograron salir de entornos de prueba y acceder a sistemas reales. Los expertos advierten que los mecanismos de seguridad no están evolucionando al mismo ritmo que las capacidades de los modelos.
La industria de la inteligencia artificial enfrenta una nueva paradoja: los sistemas creados para evaluar la seguridad de los modelos más avanzados están empezando a convertirse, ellos mismos, en un riesgo de seguridad.
Durante los últimos meses, agentes de OpenAI, Anthropic, Meta y, más recientemente, del laboratorio chino Moonshot AI, lograron escapar de los límites de sus entornos de evaluación, acceder a Internet y, en algunos casos, ingresar en sistemas reales. Las pruebas fueron realizadas por distintas organizaciones, entre ellas Irregular, una startup especializada en evaluaciones de ciberseguridad.
Los episodios revelan un problema que podría agravarse a medida que los agentes de IA ganen autonomía: los entornos diseñados para contenerlos durante las pruebas no necesariamente están evolucionando al mismo ritmo que sus capacidades.
“La cantidad de estos incidentes deja claro que el aislamiento y los controles de los entornos de prueba realmente no están siguiendo el ritmo de las capacidades de los modelos”, afirmó Seán Ó hÉigeartaigh, director del programa AI: Futures and Responsibility del Centre for the Future of Intelligence de la Universidad de Cambridge.
Cuando el modelo encuentra una salida
Las evaluaciones de ciberseguridad presentan una dificultad particular. Las compañías suelen probar modelos todavía no lanzados, de próxima generación, y desactivan las barreras que normalmente impedirían determinados comportamientos para conocer cuáles son realmente sus capacidades.
Esto convierte al entorno de evaluación en una línea de defensa fundamental.
“Es algo muy bueno para las pruebas, pero también significa que, si consiguen salir al mundo real, pueden causar un daño considerable”, explicó Ó hÉigeartaigh.
Uno de los casos más graves involucró a un modelo no lanzado de OpenAI, que logró escapar de su sandbox e ingresar en los sistemas de producción de Hugging Face.
En evaluaciones independientes realizadas por Irregular, modelos de Anthropic y Meta también llegaron a sistemas situados fuera de sus entornos de prueba después de que configuraciones incorrectas les proporcionaran, accidentalmente, caminos hacia Internet.
El modelo Kimi K3, de Moonshot AI, aprovechó una filtración en el sandbox utilizado por Frontier Security para acceder a Internet y consultar información en GitHub.
Otro caso surgió en las pruebas del AI Security Institute (AISI) del Reino Unido. Allí, los investigadores dieron deliberadamente acceso a Internet a determinados agentes sin anticipar que realizarían acciones no autorizadas en el mundo real. Entre ellas hubo un intento de ingeniería social para introducir una vulnerabilidad en un proyecto de código abierto.
En ninguno de estos casos, según el material, los agentes recibieron instrucciones de atacar objetivos reales al azar. Simplemente intentaron resolver los problemas planteados durante las evaluaciones y utilizaron los recursos disponibles para conseguirlo.
Los modelos empiezan a ser actores de amenaza
Andrew Yoon, director de investigación de la organización sin fines de lucro CivAI, considera que estos episodios representan un cambio de paradigma.
“En el pasado, solo teníamos que preocuparnos por que los modelos de IA fueran utilizados de manera indebida por personas para diversos fines, como estafas o CSAM. Ahora estamos en una situación en la que los modelos de IA son actores de amenaza por sí mismos”, señaló Yoon.
La diferencia es relevante. El riesgo ya no depende exclusivamente de una persona que utilice una herramienta de inteligencia artificial con una intención maliciosa. Un agente con suficiente autonomía puede interpretar un objetivo, explorar su entorno y tomar decisiones para alcanzar el resultado buscado.
Por eso, varios investigadores y especialistas en ciberseguridad reclaman que los entornos de evaluación incorporen una estrategia de defensa en profundidad, con múltiples capas de aislamiento y controles.
Stella Biderman, directora ejecutiva de la organización de investigación sobre seguridad de IA EleutherAI, sostuvo que las pruebas deberían realizarse en redes completamente aisladas.
“Si vas a construir estos modelos… quieres hacerlo en una red aislada. Quieres un aislamiento muy serio”, afirmó.
Heather Ceylan, directora de seguridad de la información de Box, planteó que los laboratorios deberían eliminar las rutas de comunicación entre el sandbox e Internet y otros sistemas sensibles.
“Hay que comprender cuáles son todos los puntos de salida”, explicó Ceylan. “Si estamos evaluando un modelo en nuestro entorno de staging o desarrollo, no quieres ninguna ruta de salida hacia nuestro entorno de producción”.
El otro problema: nadie vio las señales
La seguridad del entorno no es el único desafío. Los especialistas también reclaman sistemas de monitoreo capaces de detectar rápidamente comportamientos anómalos.
Ceylan señaló que en varios de los incidentes las organizaciones no detectaron inmediatamente lo que estaba ocurriendo.
“Creo que lo interesante de varios de estos casos es que nadie se dio cuenta cuando sucedió”, afirmó. “OpenAI se enteró por Hugging Face. Anthropic no lo detectó hasta que volvió atrás y revisó lo ocurrido. Meta tuvo una situación similar”.
En su análisis posterior sobre tres incidentes, Anthropic reconoció que tanto la compañía como Irregular podrían haber realizado un mejor monitoreo y que, en algunos casos, existían señales claras de que algo no estaba funcionando correctamente.
Yoon también reclamó auditorías independientes de los entornos de evaluación antes de ejecutar las pruebas.
“Si, por ejemplo, Irregular hubiera contratado o hubiera estado obligado a contratar a un auditor externo para comprobar las configuraciones de sus sistemas antes de realizar las evaluaciones, sin duda habrían detectado el problema”, sostuvo.
Una fuente familiarizada con las evaluaciones de Irregular dijo que sus entornos son revisados y probados continuamente, incluso con la participación de múltiples partes externas. También señaló que existían sistemas de monitoreo, aunque reconoció que el monitoreo por sí solo no es suficiente.
El dilema de cerrar demasiado la puerta
La solución tampoco es sencilla. Si las empresas bloquean excesivamente los modelos durante una evaluación, podrían impedir que los investigadores descubran capacidades peligrosas antes de que el sistema llegue al mercado.
Ese es uno de los grandes dilemas: un entorno demasiado permisivo puede permitir un escape; uno demasiado restrictivo puede ocultar comportamientos que deberían conocerse antes del lanzamiento.
“Especialmente cuando las barreras de seguridad están desactivadas, tienes que tratarlo como si estuvieras poniendo al hacker más capaz del mundo dentro de ese entorno”, afirmó Ceylan.
Los especialistas sostienen que las compañías conocen muchas de las herramientas necesarias para construir entornos más seguros. El problema es el costo y la complejidad.
Biderman considera que las empresas no están destinando suficientes recursos a estas protecciones y probablemente no lo harán hasta que sean obligadas.
¿Puede regularse la seguridad de las evaluaciones?
El problema adquiere una dimensión política porque la administración de Donald Trump está evaluando un régimen voluntario de pruebas de ciberseguridad antes del lanzamiento de modelos avanzados.
El esquema permitiría al Gobierno evaluar durante 30 días los riesgos de seguridad de nuevos modelos antes de su lanzamiento público. Sin embargo, la política no resolvería directamente los incidentes ocurridos durante las evaluaciones internas, porque esos problemas aparecen antes de la etapa de despliegue.
Para Yoon, los acontecimientos recientes demuestran que la autorregulación de la industria podría no ser suficiente.
“La lección que hemos aprendido durante los últimos meses es que el aparato de autorregulación ya no es suficiente”, afirmó. “Existen presiones competitivas que están incentivando una carrera hacia abajo en los estándares de seguridad, y ese es un lugar perfecto para una intervención regulatoria”.
OpenAI informó que está revisando la manera en que realiza pruebas de terceros, así como los requisitos relacionados con aislamiento, monitoreo y los criterios para detener una evaluación. Meta continúa investigando su incidente y anunció que publicará un análisis retrospectivo cuando reúna todos los datos.
Mientras tanto, el problema probablemente se intensificará. Los modelos más capaces requieren evaluaciones más complejas, que a menudo se realizan con mayor rapidez y a mayor escala. Eso aumenta también las posibilidades de errores de configuración.
El desafío para la industria ya no es solamente construir una IA capaz de superar una prueba de seguridad. También consiste en construir un entorno suficientemente seguro como para permitir que esa IA demuestre todo lo que puede hacer sin que el propio proceso de evaluación se convierta en el próximo incidente.
