La compañía confirmó una pausa de dos semanas en parte del entrenamiento de sus modelos de frontera. La decisión está vinculada a un incidente de seguridad y a evidencias preliminares de que Astra podría alcanzar un nivel crítico de capacidades para ciberataques.
OpenAI tomó una decisión poco habitual en medio de la carrera global por desarrollar modelos de inteligencia artificial cada vez más potentes: redujo temporalmente el ritmo de desarrollo de algunos de sus sistemas más avanzados para reforzar sus mecanismos de seguridad, monitoreo y alineamiento.
La compañía explicó que la medida responde a dos acontecimientos recientes. Por un lado, el incidente de seguridad que involucró a OpenAI y Hugging Face. Por otro, la aparición de evidencias preliminares de que uno de sus próximos modelos, denominado Astra, podría alcanzar el umbral de capacidad crítica de ciberseguridad establecido por OpenAI en su Preparedness Framework.
Ante ese escenario, la empresa decidió realizar una pausa de dos semanas en el entrenamiento mediante aprendizaje por refuerzo, o RL, de sus últimos modelos destinados a ser desplegados. Durante ese período, OpenAI trabajó en reforzar y someter a pruebas de seguridad sus entornos de investigación, además de ampliar sus sistemas de monitoreo.
La decisión también afectó su mayor entrenamiento de frontera planificado mediante RL, que permanece suspendido mientras la compañía realiza entrenamientos y evaluaciones de menor escala para analizar el comportamiento de los modelos, validar las nuevas protecciones y reunir más evidencia sobre su alineamiento antes de continuar.
Para OpenAI, el desafío ya no consiste solamente en crear sistemas más inteligentes. La empresa reconoce que, a medida que los modelos adquieren capacidades más avanzadas, también aumentan los riesgos durante las propias etapas internas de entrenamiento y evaluación.
La compañía sostiene que su estrategia se apoyará en tres capas de protección: monitoreo, para detectar comportamientos preocupantes; alineamiento, para reducir la probabilidad de acciones dañinas o no autorizadas; y medidas de seguridad, destinadas a limitar aquello a lo que los sistemas de IA pueden acceder o afectar.
OpenAI anticipa además que los propios modelos de inteligencia artificial podrían asumir en el futuro una parte importante del trabajo de seguridad, incluso en la defensa frente a otros modelos. La idea es que estas tres capas puedan aumentar su capacidad al mismo ritmo que avanzan los sistemas que buscan controlar.
Uno de los principales cambios se produjo en los entornos donde OpenAI entrena y evalúa sus modelos de frontera. Después del incidente con Hugging Face, la empresa suspendió temporalmente la inferencia de modelos avanzados en determinados clusters de investigación capaces de ejecutar código o utilizar herramientas con acceso a internet.
Posteriormente, OpenAI habilitó un mecanismo más limitado y seguro para la ejecución de código y comenzó a revisar cada carga de trabajo de manera individual. Algunas pudieron reanudarse bajo los nuevos controles, mientras que otras requieren modificaciones adicionales.
Entre las nuevas medidas se encuentran un mayor aislamiento de las cargas de trabajo que ejecutan código generado por modelos, controles más estrictos para separar los entornos de mayor riesgo de internet y de otras redes internas, y sistemas de pruebas de seguridad continuas.
OpenAI afirmó que aplicará el nivel más estricto de estas protecciones a los trabajos relacionados con Astra y con modelos especializados en ciberseguridad, debido a que determinó que Astra podría contar con capacidades críticas en ese terreno.
Sin embargo, una cantidad significativa de cargas de trabajo vinculadas a Astra continúa suspendida hasta que pueda migrar a los nuevos entornos y cumplir con los estándares de seguridad establecidos. La compañía aseguró que dará prioridad a los trabajos relacionados con seguridad y alineamiento.
Otro de los cambios centrales está relacionado con el monitoreo del denominado chain of thought, o cadena de razonamiento, junto con otras señales internas y acciones ejecutadas por los modelos.
El nuevo sistema de monitoreo de OpenAI funcionará en varias etapas. Comenzará con clasificadores de activación que analizarán la actividad del modelo en cada token muestreado y, cuando detecten una señal preocupante, escalarán el caso hacia investigadores automatizados más sofisticados y con mayor capacidad de cómputo.
Estos sistemas analizarán las acciones realizadas mediante herramientas, el razonamiento disponible y la secuencia completa de actividad para identificar comportamientos como accesos no autorizados, robo de datos, acciones destructivas o intentos de eludir las protecciones.
OpenAI se fijó como objetivo generar una alerta dentro de los 30 minutos posteriores a la detección de una actividad preocupante. Si el sistema identifica una posible violación de un límite crítico de seguridad, se emitirá una alerta de máxima prioridad para los equipos de seguridad, investigación y protección.
Si esos equipos no pueden determinar de manera concluyente, también en un plazo de 30 minutos, que se trata de un falso positivo, deberán suspender la actividad investigada.
La compañía reconoce que este nivel de vigilancia tiene un costo significativo. Sus estimaciones actuales indican que el monitoreo representa aproximadamente un 20% adicional del cómputo de inferencia que se está supervisando, aunque ese porcentaje puede variar considerablemente según el tipo de entrenamiento o evaluación.
El tercer gran frente es el alineamiento. OpenAI define este trabajo como el esfuerzo para lograr que los sistemas de IA se comporten según lo previsto y respondan a la supervisión humana.
La empresa considera que, a medida que los modelos puedan realizar tareas más complejas, como participar en actividades de ciberataque o interactuar con sistemas y recursos externos, aumentará el riesgo de comportamientos no alineados. Entre ellos menciona el reward hacking, una conducta en la que un modelo encuentra formas de obtener una alta recompensa durante el entrenamiento sin cumplir realmente el objetivo buscado, además del engaño y los accesos no autorizados.
Por eso, en los entrenamientos mediante RL de los modelos más potentes, OpenAI ampliará la aplicación de sus técnicas de alineamiento a más etapas del proceso. Esto incluirá mejoras en los modelos de recompensa para detectar y desalentar comportamientos inseguros, entrenamiento para que los sistemas sean más honestos sobre sus acciones, capacidades y limitaciones, y medidas para reducir comportamientos que aprovechen debilidades en los sistemas de recompensa, los evaluadores, las herramientas o la supervisión.
El mensaje de fondo de OpenAI es claro: el avance de las capacidades de los modelos está obligando a replantear la velocidad con la que pueden desarrollarse y desplegarse.
La compañía adelantó que actualizará su Preparedness Framework para integrar estas nuevas protecciones a lo largo de todo el ciclo de entrenamiento y despliegue. También anticipó una mayor inversión en seguridad asistida por modelos, sistemas de monitoreo y nuevas investigaciones sobre alineamiento.
En un mercado en el que las grandes compañías tecnológicas compiten por lanzar modelos cada vez más capaces, la decisión de OpenAI introduce una señal significativa: por primera vez, la propia velocidad del desarrollo puede convertirse en una variable que las empresas deban gestionar para evitar que sus sistemas superen la capacidad de control disponible.