Investigadores y especialistas en ciberseguridad ofensiva advierten que las barreras impuestas por empresas como OpenAI y Anthropic para evitar usos maliciosos de la IA también están obstaculizando el trabajo de quienes buscan descubrir vulnerabilidades antes que los ciberdelincuentes.
La creciente preocupación por el uso malicioso de la inteligencia artificial llevó a empresas como OpenAI y Anthropic a reforzar las restricciones de sus modelos más avanzados. Sin embargo, esa estrategia está generando un efecto inesperado: investigadores especializados en ciberseguridad sostienen que las llamadas guardrails o barreras de seguridad están dificultando el trabajo de quienes buscan detectar vulnerabilidades antes de que sean aprovechadas por atacantes.
El debate se intensificó después de que el gobierno de Estados Unidos impusiera en junio restricciones de exportación sobre los modelos Mythos y Fable de Anthropic. La medida estuvo motivada, al menos en parte, por un informe que sugería que era posible eludir las protecciones incorporadas en esos modelos para utilizarlos en la planificación y ejecución de ciberataques.
Posteriormente, el gobierno levantó esas restricciones sobre Fable 5, que volvió a estar disponible de forma general el 1 de julio, mientras que Mythos 5 regresó únicamente para organizaciones estadounidenses previamente verificadas, en el marco del proceso de revisión oficial.
Programas de acceso restringido
Para minimizar el riesgo de uso indebido, tanto Anthropic como OpenAI crearon programas especiales destinados a investigadores de confianza.
OpenAI ofrece el programa Trusted Access for Cyber, mientras que Anthropic dispone del Cyber Verification Program, ambos orientados a proporcionar acceso a versiones de sus modelos con menos restricciones, aunque únicamente después de un proceso de verificación.
No obstante, varios especialistas consideran que estas limitaciones terminan perjudicando también a quienes trabajan en la protección de sistemas informáticos.
«Las empresas deciden arbitrariamente qué es seguro»
Uno de los críticos más conocidos es Mark Dowd, investigador con décadas de experiencia en el descubrimiento de vulnerabilidades de tipo zero-day.
Durante su participación en un podcast especializado en ciberseguridad, Dowd cuestionó el papel que están asumiendo las compañías desarrolladoras de inteligencia artificial.
«No me resulta cómodo que grandes empresas privadas tomen decisiones arbitrarias sobre qué es seguro en materia de seguridad informática y qué no lo es«, afirmó.
Dowd reconoció que su trayectoria puede influir en su opinión. Durante años se dedicó a descubrir y vender vulnerabilidades desconocidas a gobiernos occidentales, en lugar de comunicarlas a los fabricantes de software para que fueran corregidas, una práctica utilizada en operaciones de inteligencia.
La misma herramienta sirve para atacar y defender
Una de las principales dificultades señaladas por los expertos es que la frontera entre las actividades ofensivas y defensivas resulta cada vez más difusa.
Chris Anley, científico jefe de la consultora de seguridad NCC Group, explicó que pedirle a un modelo de IA que intente explotar una vulnerabilidad constituye una etapa esencial para confirmar si realmente representa un riesgo que debe corregirse.
Cuando el modelo se niega automáticamente a responder debido a las restricciones de seguridad, los investigadores pierden una herramienta fundamental para proteger los sistemas.
«Aquí aparece el problema entre lo ofensivo y lo defensivo. Pedirle a un modelo que corrija un código es un mecanismo esencial para la defensa, pero al mismo tiempo también puede servir como una guía para encontrar vulnerabilidades críticas. La misma herramienta es ofensiva y defensiva, y no es posible separar completamente ambos usos«, explicó.
Para ilustrar esa dualidad, Anley recurrió a una comparación sencilla.
«Es como un martillo. No se puede construir una casa sin un martillo. Es una herramienta, pero también, inevitablemente, puede convertirse en un arma«, señaló.
Cuando las restricciones bloquean determinadas tareas, el especialista explicó que él y su equipo recurren en ocasiones a modelos de inteligencia artificial de código abierto, que no incorporan barreras de uso.
El temor a compartir vulnerabilidades
Desde Crowdfense, empresa dedicada al descubrimiento, adquisición y comercialización de vulnerabilidades para organismos gubernamentales, también cuestionan las limitaciones impuestas por los grandes desarrolladores de IA.
Su director de tecnología, Paolo Stagno, aseguró que las compañías «tratan esencialmente a sus clientes como si fueran niños que necesitan supervisión permanente«.
Stagno explicó que su empresa utiliza modelos comerciales para tareas de ingeniería inversa, pero evita emplearlos para descubrir vulnerabilidades o desarrollar exploits.
La razón es la confidencialidad.
Introducir información sensible sobre una vulnerabilidad en un modelo alojado en la nube podría exponer datos críticos o permitir que esa información termine incorporándose en futuros procesos de entrenamiento.
Por ese motivo, para ese tipo de investigaciones utilizan modelos abiertos ejecutados localmente dentro de su propia infraestructura.
Modelos abiertos frente a modelos comerciales
El investigador Giuseppe Cali, especializado en vulnerabilidades zero-day, aseguró que las restricciones no afectan directamente su trabajo porque utiliza la IA únicamente para comprender mejor el código que analiza y desarrollar herramientas auxiliares.
«Prefiero seguir descubriendo las vulnerabilidades y desarrollando los exploits por mi cuenta. Eso no cambiaría aunque mañana desaparecieran todas las restricciones. Soy muy celoso de mis vulnerabilidades y disfruto demasiado este trabajo como para dejar que los modelos lo hagan por mí«, afirmó.
Sin embargo, otros investigadores sostienen que la situación los está llevando a utilizar modelos abiertos desarrollados fuera de Estados Unidos.
Un investigador de un fabricante de componentes para teléfonos inteligentes, que pidió permanecer en el anonimato, aseguró que las restricciones de Anthropic son tan estrictas que la herramienta deja de ser útil apenas detecta que la conversación está relacionada con ciberseguridad.
«Si detecta que estamos haciendo algo relacionado con seguridad informática, simplemente deja de responder y deja de ser útil«, explicó.
¿Un impulso involuntario a los modelos chinos?
Para Chris Thompson, director ejecutivo de RemoteThreat y fundador del evento Offensive AI Con, las restricciones presentan además un problema estratégico.
Según explicó, las respuestas de los modelos comerciales suelen ser inconsistentes incluso para usuarios autorizados, obligando a los investigadores a invertir más tiempo negociando con la inteligencia artificial que analizando las vulnerabilidades.
«En la práctica se pierde mucho tiempo intentando convencer al modelo para que responda, en lugar de trabajar sobre el problema de seguridad. Terminas preguntándote por qué obtienes resultados distintos o por qué el modelo exagera las restricciones«, sostuvo.
Como consecuencia, cada vez más especialistas recurren a modelos abiertos de origen chino, como GLM, que pueden descargarse y ejecutarse localmente sin verificaciones previas ni limitaciones de uso.
«Estamos empujando a investigadores responsables a abandonar plataformas reguladas por empresas estadounidenses para utilizar sistemas desarrollados en el extranjero. Creo que estas restricciones terminan haciendo más daño que bien«, advirtió.
Para Thompson, en lugar de endurecer las barreras, los laboratorios de IA deberían ampliar los programas de acceso responsable y sancionar únicamente a quienes hagan un uso malicioso de la tecnología.
«Se aproxima una enorme ola de ciberataques que ocurrirán con una velocidad y una escala nunca vistas. Sin embargo, las mismas empresas e investigadores que intentan proteger los sistemas están siendo frenados en este momento«, concluyó.