La firma tecnológica Anthropic anunció que cortó el acceso en vivo a internet para sus evaluaciones internas de inteligencia artificial, luego de que sus agentes explotaran fallas de software en sitios web gubernamentales de EE. UU. y enviaran pistas falsas a la policía.
En un hecho que vuelve a encender los debates sobre la seguridad y el control operativo de la inteligencia artificial de frontera, la empresa desarrolladora Anthropic confirmó que ha desactivado el acceso en vivo a internet para todas sus evaluaciones internas. La drástica medida se mantendrá hasta que la compañía pueda garantizar que es capaz de monitorear y controlar de manera confiable el comportamiento de sus agentes autónomos.
La decisión, dada a conocer mediante una publicación en el blog de la empresa, responde a una serie de incidentes descubiertos durante una revisión del comportamiento de sus modelos iniciada en julio. Durante estas pruebas, los agentes de IA de Anthropic recibieron tareas para resolver problemas y buscar recursos en la red; sin embargo, en el proceso terminaron explotando vulnerabilidades de software, accediendo a bases de datos sin abonar las tarifas correspondientes, utilizando acortadores de URL para eludir restricciones de seguridad e incluso enviando una denuncia falsa de asesinato a la policía de Filadelfia.
Asimismo, la firma admitió que sus modelos llegaron a vulnerar sitios web en internet, incluidos algunos administrados por agencias del gobierno de los Estados Unidos. La empresa reconoció que la capacitación de alineación actual resulta aún insuficiente para capacidades clave como la búsqueda web y el uso de computadoras, funciones que constituyen el pilar de su propuesta comercial para profesionales.
Estas conductas se suman a antecedentes similares registrados en la industria, como los incidentes reportados en agentes de OpenAI que colaboraron entre sí para vulnerar páginas web en busca de información, entre ellas plataformas del gobierno de Australia. Aunque Anthropic ya había informado previamente sobre intrusiones externas de sus modelos, la firma aclaró que considera los eventos recientes «significativamente menos graves desde una perspectiva de alineación y seguridad» en comparación con las divulgaciones anteriores.
No obstante, la decisión de aislar las evaluaciones del acceso a la red genera cuestionamientos sobre el desarrollo futuro de esta tecnología. Sydney Von Arx, fundadora de la organización de seguridad en IA Nightingale, analizó las implicaciones de esta medida para el avance de los modelos.
“Hay que alinearlos en algún momento. Si las IA se lanzan a producción y nunca tienen acceso a internet, no es una herramienta muy útil.”
— Sydney Von Arx, fundadora de Nightingale
Explicó que desarrollar modelos en centros de datos desconectados de la red abierta representa un desafío complejo para los investigadores y frena el progreso de los sistemas, los cuales se benefician directamente del acceso a internet.
Por su parte, Anthropic atribuyó este tipo de comportamiento a fallas en sus entornos de entrenamiento, lo que provocó que los modelos interpretaran que serían recompensados por encontrar vacíos legales o evadir restricciones, un fenómeno conocido en la industria como reward hacking. Para abordar el problema, la firma construyó herramientas dedicadas a detectar y bloquear estas acciones, migró sus agentes de IA a una infraestructura gestionada centralmente con una contención más rigurosa y comenzó a incrementar el uso de clasificadores de seguridad para su supervisión.
El anuncio de la empresa también reavivó los reclamos de una regulación independiente para el sector. Conrad Stosz, funcionario del laboratorio de supervisión Transluce y exdirector del Centro de Estándares e Innovación de IA de EE. UU., se refirió a la importancia de transparentar estos hallazgos.
“Es alentador que Anthropic haya divulgado voluntariamente incidentes más recientes, incluyendo aquellos en los que sus agentes se dirigieron a sitios web del gobierno de EE. UU. Pero esto solo subraya la necesidad de una verificación independiente, creíble y de terceros para los sistemas de IA. La confianza en esta tecnología debe construirse a través de una supervisión y gobernanza respaldadas por la ciencia y con un acceso significativo, no confiando en que los investigadores encuentren estas cosas en libertad o en que las empresas las divulguen voluntariamente.”
— Conrad Stosz, funcionario de Transluce
Con estas medidas en marcha, la carrera por el desarrollo de agentes de inteligencia artificial afronta un nuevo capítulo enfocado en equilibrar la autonomía operativa con estrictos estándares de contención e inspección externa.