Un informe de METR revela que los modelos de Anthropic están progresando aproximadamente el doble de rápido que hace un año. El estudio también expone el uso de sistemas internos todavía no publicados y cuestiona la transparencia de la compañía liderada por Dario Amodei.
Anthropic está utilizando inteligencia artificial para acelerar el desarrollo de sus propios modelos y los resultados empiezan a mostrar una transformación significativa en sus procesos de investigación. Un informe de la organización independiente METR, elaborado después de una investigación de 11 semanas dentro de la compañía, sostiene que el progreso de sus modelos se está produciendo aproximadamente al doble de velocidad que hace un año.
El hallazgo aporta una de las evidencias más concretas hasta ahora sobre un fenómeno que ocupa un lugar central en el debate sobre el futuro de la industria: la capacidad de la inteligencia artificial para acelerar su propio desarrollo. También plantea interrogantes sobre la velocidad con la que podrían evolucionar los sistemas más avanzados y sobre la capacidad de los mecanismos de seguridad para acompañar ese ritmo.
Según METR, los resultados de las pruebas de rendimiento sugieren que Anthropic consiguió durante el último año un progreso equivalente a aproximadamente dos años de avances históricos. Los investigadores consideran que la aceleración no se explica simplemente por un aumento de la capacidad de cómputo utilizada para entrenar los modelos, uno de los motores tradicionales de la evolución de la IA.
Por el contrario, el informe sostiene que, a octubre, la mayor parte de esa aceleración se debía al uso de inteligencia artificial dentro de la propia compañía y que su contribución estaba creciendo con el tiempo.
Uno de los datos más llamativos surge de encuestas internas realizadas a través de Slack y de entrevistas con empleados. En promedio, los trabajadores que utilizan el modelo interno más avanzado de Anthropic afirmaron ser alrededor de 12 veces más productivos en sus respectivas tareas que si trabajaran sin asistencia de IA. Esa cifra representa aproximadamente el doble de la productividad que habían declarado algunos meses antes, cuando utilizaban Mythos 5.
Por ahora, METR considera que buena parte de la aceleración proviene de modelos que asisten a investigadores humanos, y no de sistemas que desarrollan investigaciones de manera completamente autónoma. Sin embargo, advirtió que existen señales de que las contribuciones autónomas podrían adquirir un papel mucho más importante en el corto plazo.
El informe tampoco identificó señales claras de rendimientos decrecientes ni obstáculos observables que permitan anticipar una desaceleración.
Tres modelos secretos y una ventaja interna
La investigación también reveló que Anthropic trabaja con modelos más avanzados que los disponibles públicamente. Durante los últimos seis meses, la compañía terminó de entrenar tres sistemas que todavía no fueron lanzados.
METR identificó esos modelos con los nombres internos Model 2, Model 3 y Model 4. Sus respectivos entrenamientos finalizaron en julio, entre agosto y septiembre, y entre septiembre y octubre. Los investigadores también mencionaron la existencia de otro modelo no publicado, identificado como Unreleased 2022.
El acceso a estos sistemas internos resulta relevante para comprender los avances de productividad que describe el informe. Los empleados de Anthropic están utilizando herramientas que el resto de la industria y los usuarios externos todavía no pueden evaluar.
La investigación, sin embargo, tuvo limitaciones importantes. Anthropic proporcionó información confidencial sobre investigaciones, rendimiento de modelos y entrevistas con empleados. METR reconoció que la compañía compartió más información de la inicialmente prevista, pero aclaró que no tuvo acceso irrestricto a sus sistemas ni a toda la evidencia que había solicitado.
La principal controversia surgió alrededor de las modificaciones realizadas al documento final. Según METR, Anthropic recibió un informe completo de aproximadamente 100 páginas y eliminó buena parte de la evidencia que los investigadores consideraban más relevante para fundamentar sus conclusiones.
La organización señaló que algunas solicitudes de información fueron rechazadas y que las partes eliminadas podían admitir distintas interpretaciones. Por eso, advirtió que el público debe confiar en el criterio de METR más de lo que sería deseable para evaluar un asunto de semejante importancia.
La contradicción entre seguridad y velocidad
La decisión de limitar la información publicada reavivó el debate sobre la posición de Anthropic frente a la seguridad de la inteligencia artificial. La compañía liderada por Dario Amodei se convirtió en una de las voces más visibles a favor de un desarrollo responsable y de la necesidad de establecer límites a la carrera por construir sistemas cada vez más capaces.
Sin embargo, los resultados de METR muestran que la empresa también está utilizando esa tecnología para acelerar sus propios procesos de investigación.
Sam McCandlish, cofundador de Anthropic, reconoció en una publicación en X que la compañía había eliminado una cantidad importante de información. “Redactamos mucho, y acepto que esto hace más difícil que otros puedan verificar el trabajo de METR”, escribió.
El ejecutivo justificó la decisión por razones comerciales y de seguridad. Según explicó, revelar exactamente qué factores están impulsando la aceleración podría beneficiar a los competidores y ofrecerles una hoja de ruta para avanzar más rápido. “No creemos que compartir esa información sea lo correcto, tanto porque es comercialmente sensible como porque corre el riesgo de proporcionar a otros una hoja de ruta para ir más rápido”, sostuvo. A su juicio, esa divulgación podría agravar precisamente los riesgos que preocupan a los investigadores.
McCandlish anticipó que Anthropic publicará su propio informe sobre la velocidad del progreso de la IA durante las próximas semanas y que también comunicará nuevas medidas para fortalecer la seguridad.
Los investigadores reclaman mayor supervisión
Las conclusiones de METR provocaron reacciones entre especialistas en seguridad y políticas de inteligencia artificial. Marius Hobbhahn, CEO y fundador de Apollo Research, organización que realiza evaluaciones de seguridad para laboratorios líderes, consideró que los resultados apuntan a una velocidad de desarrollo incluso superior a la contemplada en el escenario AI 2027, que anticipaba avances importantes hacia la auto-mejora de sistemas durante 2027.
Alan Chan, investigador sénior del centro de políticas tecnológicas GovAI, sostuvo que los hallazgos deberían llevar a los escépticos a reconsiderar la posibilidad de que la IA esté acelerando su propio desarrollo y a revisar los plazos previstos para automatizar completamente tareas como la ingeniería de software.
La preocupación también se extiende a la posibilidad de que los sistemas lleguen a desarrollar versiones sucesoras cada vez más potentes con una intervención humana mínima. Ese escenario, conocido como auto-mejora recursiva, podría acelerar el progreso tecnológico y dificultar la aplicación de controles de seguridad.
Daniel Kokotajlo, exinvestigador de OpenAI y responsable del AI Futures Project, cuestionó la conducta de Anthropic y acusó a la compañía de asumir riesgos de manera irresponsable. Por su parte, Brianna Rosen, directora de investigación de seguridad de frontera del Institute for AI Policy and Strategy, reclamó que los evaluadores independientes puedan explicar sus conclusiones y que los gobiernos tengan acceso a la evidencia para ejercer una supervisión efectiva.
En una línea similar, Alex Bores, legislador de la Asamblea del Estado de Nueva York, pidió al Congreso estadounidense prohibir la auto-mejora recursiva, de ser posible durante este mismo año.
El debate llega en un momento estratégico para Anthropic, que prepara su salida a bolsa mientras su CEO, Dario Amodei, mantiene públicamente sus advertencias sobre los riesgos de acelerar el desarrollo de la inteligencia artificial.
El informe de METR deja planteada una cuestión que excede a una sola compañía: si la IA ya está acelerando de manera significativa el trabajo de quienes la desarrollan, los mecanismos de evaluación, transparencia y supervisión tendrán que evolucionar a una velocidad comparable. Como resumió Hobbhahn: “Prepárense para lo inesperado. Va a ir muy rápido”, probablemente demasiado rápido para que la sociedad y la política puedan seguirle el ritmo.
