Una investigación de Nvidia logró que Claude Opus 5 alcanzara el 100% en ARC-AGI-3 gracias a una arquitectura diseñada para gestionar memoria, herramientas y supervisión. El resultado refuerza una nueva idea en la industria: para los agentes autónomos, el “harness” puede ser tan importante como el propio modelo.
Durante los últimos años, la carrera de la inteligencia artificial estuvo dominada por una pregunta: ¿qué empresa tiene el modelo más potente? OpenAI, Anthropic, Google, Meta y otros gigantes tecnológicos compiten por desarrollar sistemas cada vez más capaces. Sin embargo, una nueva investigación de Nvidia plantea que, para construir agentes capaces de trabajar de forma autónoma durante períodos prolongados, el verdadero diferencial podría estar fuera del modelo.
La compañía presentó resultados de investigación que muestran cómo una arquitectura de software específica, conocida como harness, permitió que Claude Opus 5, de Anthropic, alcanzara un 100% de desempeño en ARC-AGI-3, un benchmark de razonamiento interactivo compuesto por juegos bidimensionales sin instrucciones explícitas.
Sin esa arquitectura adicional, Claude Opus 5 obtuvo un 30%, que igualmente fue el mejor resultado entre los modelos evaluados. La diferencia entre ambos resultados ilustra la importancia del sistema que rodea al modelo: la gestión de memoria, las herramientas disponibles, las reglas de operación, el contexto y los mecanismos de supervisión.
Adel El Hallak, vicepresidente de producto de la unidad de IA de Nvidia, explicó a TechCrunch que existe una percepción demasiado simplificada sobre qué es realmente un agente. “En términos generales, el mundo interpreta a un agente casi como una API del modelo”, señaló.
Pero, según El Hallak, la realidad es mucho más compleja. “Es el modelo. Es la estructura que rodea al modelo, que llamamos harness, es decir, el conjunto de herramientas que utiliza. Es el entorno de ejecución y las habilidades y bibliotecas a las que le damos acceso”.
La investigación apunta directamente a uno de los mayores desafíos de la IA actual: los llamados trabajos de largo horizonte. Se trata de tareas que requieren encadenar numerosas decisiones durante períodos prolongados para llegar a un resultado final, en lugar de simplemente responder a una instrucción.
Es precisamente en ese terreno donde los modelos todavía muestran importantes limitaciones. Una investigación publicada por Microsoft en abril evaluó 19 grandes modelos de lenguaje en tareas prolongadas de edición de documentos y concluyó que todos, incluidos los sistemas de frontera, terminaron introduciendo errores.
Los riesgos tampoco son únicamente de calidad. Otros sistemas autónomos fueron observados eliminando archivos de usuarios e incluso bases de datos completas, mientras que algunas pruebas mostraron comportamientos como colusión, hacking u otras acciones para alcanzar los objetivos asignados.
Para Nvidia, la respuesta pasa por mejorar la arquitectura que controla al agente.
Los investigadores desarrollaron un sistema denominado Agentic Variation Operators (AVO). La clave del experimento fue incorporar un componente supervisor que funciona como una especie de jefe que monitorea al agente principal y puede intervenir cuando detecta que está avanzando en una dirección equivocada.
“El aspecto más interesante fue introducir un agente supervisor además del agente principal que está realizando el trabajo”, explicó El Hallak. Ese sistema “casi actúa como un CEO para orientar al agente cuando se desvía o comienza a explorar un camino que podría conducir a un callejón sin salida, o para volver a explorar un camino que ya había recorrido”.
El benchmark elegido por Nvidia también tiene un significado especial dentro de la competencia entre los principales laboratorios de IA. OpenAI había obtenido resultados inferiores al 10% en ARC-AGI-3 y posteriormente realizó su propia investigación para mejorar el desempeño. La compañía descubrió que modificando apenas dos configuraciones del harness podía triplicar sus resultados.
Sin embargo, los sistemas de OpenAI no alcanzaron el 100% logrado por Nvidia utilizando Claude Opus 5 y su arquitectura AVO.
La investigación también coincide con conclusiones de otras compañías. En julio, Databricks publicó un trabajo que mostró que el harness puede tener un impacto decisivo no solo en el rendimiento de un agente, sino también en su costo operativo.
Ali Ghodsi, CEO de Databricks, fue contundente al explicar el resultado: “Podés elegir el mismo modelo pero diferentes harnesses, y obtener un costo significativamente mayor si usás el harness equivocado”.
Según Ghodsi, esa diferencia puede alterar por completo la percepción sobre qué modelo es realmente más económico. “Pensás: este es un modelo caro y este es un modelo barato. Pero esperá, ¿qué harness estás usando? Eso por sí solo puede duplicar tu costo”.
Nvidia no presentó AVO como un nuevo producto comercial. La empresa desarrolla, bajo la marca Nemo, diferentes tecnologías y componentes —algunos comerciales y otros disponibles abiertamente— para construir este tipo de arquitecturas.
El mensaje de fondo, sin embargo, es estratégico. Así como la industria discute sobre modelos abiertos y cerrados, Nvidia sostiene que los harnesses abiertos pueden ofrecer a empresas y desarrolladores un mayor control sobre sus sistemas de IA.
“Creemos, y lo estamos demostrando con el ecosistema, que los harnesses abiertos permiten ajustar muchas más variables para aumentar la precisión”, afirmó El Hallak.
Para Nvidia, el futuro de los agentes no dependerá únicamente de quién tenga el modelo más inteligente. También será decisivo quién construya la mejor infraestructura para darle memoria, herramientas, supervisión y límites.
En otras palabras, en la próxima etapa de la carrera de la inteligencia artificial, el cerebro seguirá siendo importante. Pero Nvidia acaba de mostrar que el sistema que lo rodea podría convertirse en el verdadero factor diferencial.