Seis especialistas de METR tendrán acceso de nivel empleado a herramientas, equipos e información interna de Anthropic. La organización podrá publicar sus evaluaciones sin autorización previa de la compañía, en un intento por reforzar la supervisión independiente de los sistemas de IA.
Anthropic habilitó un nuevo esquema de evaluación externa que permitirá a seis investigadores de METR, una organización sin fines de lucro especializada en analizar modelos avanzados de inteligencia artificial, examinar desde adentro sus sistemas, sus prácticas de seguridad y sus mecanismos de gestión de riesgos.
El acuerdo, anunciado por la compañía en una publicación de blog el jueves 15 de octubre, busca que especialistas independientes puedan acceder a información más cercana a la que manejan los propios equipos internos de evaluación de riesgos. La iniciativa llega en un contexto de creciente preocupación por los agentes de IA que ejecutan acciones fuera de las instrucciones recibidas y por la necesidad de establecer controles externos sobre las empresas que desarrollan estos sistemas.
“Queremos rendir cuentas públicamente por las decisiones que tomamos”, afirmó Anthropic en el anuncio. Y agregó: “Nuestro objetivo es reducir la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de vanguardia y lo que la propia empresa entiende”.
Como parte del acuerdo, los seis investigadores de METR tendrán computadoras portátiles de la empresa, espacio de oficina y acceso a herramientas internas similares a las utilizadas por los equipos de Anthropic que evalúan los riesgos de sus modelos. La compañía también indicó que sus empleados podrán compartir información con los especialistas externos como lo harían con otros colegas dedicados al análisis de riesgos de alineación, un área que estudia cómo lograr que los sistemas de inteligencia artificial se comporten de acuerdo con los objetivos e instrucciones previstos.
Anthropic comparó el mecanismo con la presencia de inspectores residentes en las principales entidades bancarias. La lógica es que una evaluación realizada desde el interior de la organización puede ofrecer una visión más completa de los riesgos, las decisiones y los procedimientos que una revisión limitada a la información que la empresa decide compartir.
METR podrá publicar sus evaluaciones sin el veto de Anthropic
Uno de los aspectos centrales del acuerdo es la independencia editorial de METR. La organización podrá publicar sus propias evaluaciones sobre los riesgos, los incidentes y las prácticas de seguridad de Anthropic sin necesitar una aprobación previa de la compañía.
Sin embargo, esa libertad tiene límites específicos. Anthropic se reservó la posibilidad de exigir que se elimine información incluida en determinadas categorías previamente definidas, como datos de clientes, comunicaciones protegidas por el secreto profesional entre abogados y clientes o información relacionada con las arquitecturas de sus modelos.
La empresa explicó que no podrá vetar una publicación completa, aunque sí solicitar la eliminación de esos contenidos protegidos. METR, por su parte, podrá informar públicamente qué partes fueron suprimidas y explicar si considera que las restricciones estaban justificadas, siempre que no revele la información eliminada.
La distinción es importante: el acuerdo habilita una evaluación independiente y la publicación de sus resultados, pero no implica acceso público irrestricto a todos los datos internos de Anthropic.
Un sistema de tres niveles para evaluar los riesgos de la IA
El convenio con METR forma parte de un esquema de supervisión de tres niveles que Anthropic está desarrollando. En el escalón inferior se encuentran evaluadores que realizan revisiones más específicas. Entre ellos figura SecureBio, una organización sin fines de lucro dedicada a la bioseguridad, que necesita la aprobación de Anthropic para publicar sus resultados.
El nivel intermedio contempla un mayor acceso a información y permite publicar evaluaciones sin autorización previa de la empresa. En la categoría superior se encuentra actualmente METR, que dispone de acceso de nivel empleado y puede examinar los sistemas y procedimientos desde una posición más cercana a la de los equipos internos.
Por ahora, METR es el único evaluador ubicado en ese nivel superior. La diferencia entre las categorías no se limita a la cantidad de información disponible: también determina el grado de autonomía que tienen los especialistas para comunicar sus conclusiones.
La iniciativa adquiere relevancia después de que, desde finales de agosto, se conocieran diversos incidentes relacionados con agentes de inteligencia artificial que habrían actuado fuera de sus instrucciones. Los episodios involucraron sistemas desarrollados en el sector de la IA y reavivaron el debate sobre la capacidad de las empresas para controlar las acciones de sus propios agentes.
La propuesta de Dario Amodei y el compromiso de otras tecnológicas
El anuncio también concreta una propuesta que Dario Amodei, director ejecutivo de Anthropic, había presentado en un ensayo publicado en septiembre. Allí planteó integrar evaluadores externos dentro de los laboratorios de inteligencia artificial como un primer paso para acompasar el desarrollo de la tecnología con mecanismos de seguridad más sólidos.
OpenAI manifestó rápidamente su compromiso con una iniciativa similar. Posteriormente, Anthropic y OpenAI, junto con Google, Meta, Nvidia y xAI, firmaron un acuerdo con la Casa Blanca para comprometerse a realizar revisiones independientes.
La participación de estas compañías muestra que la evaluación externa comienza a ocupar un lugar más relevante en la discusión sobre la seguridad de la inteligencia artificial. No obstante, el anuncio de Anthropic no establece que todas ellas hayan adoptado un modelo de supervisión idéntico al que ahora tendrá METR.
El desafío será determinar si el acceso interno y la posibilidad de publicar resultados sin autorización previa permiten detectar riesgos que podrían pasar inadvertidos en las evaluaciones tradicionales. Para Anthropic, la iniciativa representa un paso hacia una mayor rendición de cuentas; para METR, abre la posibilidad de examinar de forma más directa cómo una empresa de IA de frontera identifica, mide y gestiona los riesgos de sus propios sistemas.