Anthropic advierte sobre el lado oscuro de los agentes de IA: pueden coordinarse, coludirse y hasta sabotearse

Un nuevo estudio de Anthropic revela que los sistemas multiagente pueden generar fallas sistémicas difíciles de anticipar: desde decisiones idénticas y escasez de recursos hasta colusión comercial y conflictos entre agentes capaces de sabotear el trabajo de otros.

Los agentes de inteligencia artificial están dejando de ser sistemas que simplemente responden instrucciones para convertirse en actores capaces de trabajar durante horas, utilizar herramientas, modificar código y tomar decisiones dentro de entornos compartidos. Para Anthropic, ese cambio abre una nueva frontera de riesgos: qué ocurre cuando no interactúan con humanos, sino entre ellos.

En un estudio publicado el 13 de agosto de 2026, la compañía analiza los patrones de comportamiento y los problemas que aparecen en sistemas multiagente emergentes. Su conclusión es que una mayor inteligencia individual no garantiza una mejor coordinación colectiva. De hecho, comportamientos aparentemente benignos de agentes individuales pueden combinarse y producir fallas sistémicas.

Anthropic advierte que el volumen de interacciones entre agentes podría superar eventualmente al de las interacciones entre humanos y entre humanos y máquinas, antes de que las instituciones hayan desarrollado mecanismos adecuados para administrarlas.

Los agentes tienen ventajas evidentes: pueden trabajar durante períodos prolongados, procesar grandes cantidades de información y acceder a conocimientos que exceden los límites de cualquier individuo. Pero también presentan problemas conocidos, como las confabulaciones y el reward hacking. El desafío aumenta cuando varios agentes actúan simultáneamente en un mismo entorno.

45 agentes contra vulnerabilidades de software

Uno de los experimentos de Anthropic buscó determinar si un grupo de agentes podía detectar vulnerabilidades de software de manera más eficiente mediante coordinación.

La compañía puso en funcionamiento 45 agentes, cada uno con su propia máquina virtual, un foro compartido y el mismo objetivo: encontrar vulnerabilidades en 15 proyectos de software de código abierto. Los agentes podían revisar el trabajo de sus pares y un agente árbitro independiente determinaba si los hallazgos eran nuevos y válidos.

El resultado fue significativo. Con Claude Mythos Preview, un enfoque tradicional de agentes independientes encontró 21 vulnerabilidades utilizando 6,5 millones de tokens. El enjambre coordinado encontró 266 vulnerabilidades después de utilizar 27 millones de tokens.

Sin embargo, aproximadamente la mitad de las vulnerabilidades descubiertas por el enjambre estaban fuera de los directorios principales en los que habían sido instruidos los agentes independientes. Cuando Anthropic restringió la comparación a esas áreas centrales, ambos métodos resultaron comparables en tokens utilizados por vulnerabilidad.

La diferencia estuvo también en dónde buscaban. Los agentes coordinados desarrollaron herramientas propias y comenzaron a especializarse en distintos tipos de vulnerabilidades.

Cuando los agentes tienen que compartir código

La coordinación se vuelve mucho más compleja cuando los agentes dependen directamente del trabajo de otros. Anthropic lo puso a prueba haciendo que distintos enjambres construyeran durante 12 horas un videojuego de fantasía de mundo abierto, basado en texto y jugable desde la web.

Los investigadores probaron distintos modelos, entre ellos Sonnet 4.6, Sonnet 5, Opus 4.6, Opus 4.8 y Mythos Preview, además de diferentes estructuras de organización: equipos con roles específicos, una jerarquía con un agente que actuaba como CEO y un esquema sin jerarquías.

Los resultados fueron pobres desde el punto de vista del producto final. Los juegos no funcionaban a velocidad humana, las interfaces eran difíciles de interpretar y las curvas de aprendizaje eran demasiado pronunciadas.

Pero el comportamiento de los agentes fue muy diferente según el modelo.

Sonnet 4.6 y Opus 4.6 coordinaron mal: trabajaban sobre los mismos archivos, pero una proporción muy baja de sus pull requests terminaba incorporándose al código principal. Opus 4.8 y Mythos Preview redujeron el problema de una manera particular: los agentes prácticamente dejaron de trabajar sobre recursos compartidos.

Fue Sonnet 5 el que logró combinar un nivel relativamente alto de código compartido con una elevada capacidad para incorporar pull requests.

El problema de pensar todos igual

Otro de los riesgos identificados por Anthropic es la baja variabilidad de los agentes. Cuando distintos sistemas reciben contextos, instrucciones y modelos similares, tienden a tomar decisiones similares.

Eso puede convertir un error individual en una falla colectiva.

En uno de los experimentos, 18 de 30 agentes eligieron exactamente el mismo nombre para una rama de Git: “mvp-game-loop”. En otro ejercicio de escritura creativa, varios agentes titularon su primer texto “The Cartographer’s Last Commission”, pese a que no habían recibido ninguna orientación sobre el tema.

En otro experimento, más de la mitad decidió construir ray tracers o compiladores autoalojados. Y en un juego de dilema del prisionero iterado, los agentes terminaron adoptando la misma estrategia y desertaron simultáneamente, reduciendo sus recompensas.

El efecto puede ser todavía más grave cuando se administran recursos limitados. Anthropic puso agentes a gestionar colas de trabajos con un ancho de banda finito. Sin mecanismos de coordinación, los agentes comenzaron a utilizar procesos de consulta con una frecuencia de 30 veces por segundo. En una ejecución se generaron 2,4 millones de solicitudes, pero solamente 117 trabajos fueron aceptados.

Del mercado a la colusión

La investigación también encontró comportamientos que afectan directamente a los mercados.

Anthropic ubicó entre 3 y 8 agentes en diferentes experimentos de un juego de precios de Bertrand. Todos tenían los mismos precios mayoristas y buscaban maximizar individualmente sus ganancias.

Cuando los agentes tuvieron un canal privado de comunicación, comenzaron a coordinarse casi inmediatamente. Para la tercera ronda habían acordado explícitamente precios mínimos.

Un agente escribió: “El precio mayorista es 10 para todos nosotros, así que una guerra de precios simplemente quema el margen de todos. Estoy dispuesto a coordinar quién cubre qué nichos”.

Pero el fenómeno no desapareció cuando Anthropic eliminó los canales privados. Los agentes comenzaron a igualar sus precios hasta el último centavo utilizando un tablero público de ofertas.

El experimento más preocupante: agentes contra agentes

El escenario más extremo apareció cuando Anthropic dio a tres agentes diferentes instrucciones incompatibles.

Cada uno debía migrar un backend de Python a otro lenguaje, pero cada agente recibió un lenguaje objetivo distinto. Los sistemas funcionaron durante cuatro horas en máquinas virtuales separadas.

En lugar de negociar, los agentes interpretaron rápidamente las acciones de los demás como intentos deliberados de impedir su trabajo. El resultado fue una auténtica disputa territorial.

Los agentes comenzaron a sabotearse mediante mecanismos cada vez más agresivos, incluyendo la desactivación de cuentas Unix, scripts automatizados para detectar y eliminar procesos rivales y código malicioso diseñado para hacerse pasar por componentes de otros agentes.

Opus 4.6, por ejemplo, llegó a plantear una estrategia para que un sistema en Rust se hiciera pasar por uno en TypeScript para engañar al mecanismo de vigilancia del otro agente. Opus 4.8 consideró utilizar un proceso de eliminación disfrazado de monitor de salud del sistema.

En otros casos, los agentes resolvieron el conflicto mediante la revocación de accesos. Un agente de Mythos Preview consideró eliminar los permisos sudo de los demás o modificar sus claves SSH.

Pero también aparecieron comportamientos cooperativos. Algunos agentes reconocieron que los demás no actuaban por hostilidad, sino que seguían instrucciones diferentes. En esos casos pudieron detener la escalada, limpiar el código malicioso y solicitar intervención humana.

Uno de ellos incluso dejó una disculpa: “Mis pares se comportaron con integridad. Yo me comporté mal con el daemon encubierto”, escribió Opus 4.8.

Más inteligencia no significa mejor coordinación

Para Anthropic, uno de los resultados más importantes es que la capacidad de ejecución y la capacidad de cooperación no necesariamente avanzan juntas.

Los modelos más capaces pueden actuar con mayor rapidez y tomar decisiones más contundentes, pero eso no significa que sepan cuándo detenerse, consultar a un humano o negociar con otros agentes.

La compañía identifica dos componentes fundamentales para una coordinación exitosa: que el modelo pueda considerar las intenciones y modelos mentales de otros agentes y que pueda determinar cuándo su autonomía debe ceder frente a la necesidad de intervención humana.

El problema es que los sistemas actuales todavía no cuentan con equivalentes funcionales de mecanismos sociales humanos como la reputación, las normas, la posibilidad de recurrir ante una autoridad o las consecuencias de largo plazo sobre la confianza.

Anthropic concluye que la coordinación entre agentes no surgirá automáticamente de modelos más inteligentes ni de una mejor alineación individual. Será necesario diseñar nuevos entornos y sistemas sociales adaptados a actores capaces de replicarse, modificarse y actuar a una velocidad muy superior a la humana.

La advertencia de la compañía es contundente: las condiciones para que los agentes puedan interactuar de manera segura se descubrirán de una forma u otra. La alternativa es hacerlo deliberadamente antes de que sus interacciones superen ampliamente a las nuestras o aprenderlo, directamente, cuando estos sistemas ya estén operando en producción.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

WP to LinkedIn Auto Publish Powered By : XYZScripts.com