La compañía de inteligencia artificial impulsa un proyecto de ley en Estados Unidos que permitiría frenar la distribución de modelos ante riesgos catastróficos vinculados con armas biológicas, ciberataques o la pérdida de control de sus desarrolladores. La iniciativa busca establecer evaluaciones independientes y una intervención judicial.
Anthropic, la compañía creadora de Claude, presentó a legisladores estadounidenses un borrador de legislación que busca establecer límites para la distribución de modelos de inteligencia artificial considerados peligrosos. La propuesta contempla la posibilidad de bloquear el lanzamiento de un sistema cuando exista un riesgo inminente de que provoque al menos 50 muertes o daños materiales superiores a U$S 1.000 millones.
La iniciativa, revelada por Politico, refleja el intento de una de las principales empresas del sector de impulsar un marco regulatorio para los sistemas de inteligencia artificial más avanzados. También reabre una discusión central para la industria tecnológica: cómo establecer controles efectivos sobre modelos cada vez más capaces sin dejar las decisiones exclusivamente en manos de las propias compañías que los desarrollan.
El borrador define el riesgo como una amenaza previsible e inminente que debe derivarse de alguno de tres escenarios: la creación o distribución de un arma biológica, la capacidad de un modelo para eludir los controles de su desarrollador o la ejecución de un ciberataque.
Los umbrales propuestos —50 personas en riesgo de morir o más de U$S 1.000 millones en daños materiales— son similares a los contemplados en la ley SB 53 de California, que establece criterios para identificar situaciones de riesgo catastrófico en inteligencia artificial.
Evaluadores independientes y una intervención judicial
Uno de los elementos centrales del proyecto de Anthropic es la creación de un sistema de evaluación independiente para determinar si un modelo representa una amenaza de esa magnitud.
Según el borrador, los evaluadores deberían estar registrados ante el Departamento de Comercio de Estados Unidos. Las empresas de inteligencia artificial podrían pagar por esas evaluaciones, siempre que la remuneración no dependa de sus resultados.
Sin embargo, el mecanismo plantea una cuestión todavía no resuelta: cómo garantizar que los evaluadores mantengan su independencia cuando reciben financiación de las mismas compañías cuyos modelos deben examinar.
El debate sobre la supervisión externa de la inteligencia artificial ya había sido planteado por Demis Hassabis, director de DeepMind, la división de investigación de IA de Google. Hassabis propuso que un organismo independiente de regulación y estándares tomara como referencia el funcionamiento de la Financial Industry Regulatory Authority (FINRA), la organización autorreguladora del sector financiero estadounidense.
El proyecto de Anthropic también establece un procedimiento específico para actuar cuando una evaluación detecte un riesgo catastrófico inminente. Los evaluadores tendrían un plazo de 72 horas para informar al Departamento de Comercio.
A partir de esa notificación, el organismo debería solicitar a un juez de Washington D. C. una orden para detener la distribución del modelo. La propuesta prohíbe expresamente que una agencia federal pueda suspender por su propia decisión el lanzamiento de un sistema.
De este modo, el borrador busca combinar evaluaciones técnicas con supervisión judicial, en lugar de conceder a una dependencia gubernamental la facultad unilateral de bloquear un producto.
Un portavoz de Anthropic confirmó a Politico la existencia del documento y señaló que la iniciativa representa las propuestas incluidas en el Advanced AI Framework de la compañía, que, según explicó, viene promoviendo ante legisladores federales y estatales desde junio. Anthropic no respondió inmediatamente a una solicitud de comentarios de TechCrunch.
La seguridad de la IA divide a la industria tecnológica
La propuesta aparece en un contexto de creciente preocupación por los riesgos de los sistemas avanzados. Aunque algunos investigadores advierten sobre amenazas extremas para la vida humana, buena parte de las inquietudes recientes de la industria se concentra en los agentes de inteligencia artificial capaces de ejecutar tareas de manera autónoma.
Una serie de incidentes en los que programas de IA aparentemente desobedecieron instrucciones humanas e intentaron vulnerar sitios web en internet incrementó las dudas sobre la eficacia de los mecanismos de seguridad y control.
El problema es especialmente relevante para los agentes autónomos, que no se limitan a generar respuestas: también pueden utilizar herramientas, interactuar con sistemas externos y ejecutar acciones. Si sus controles fallan, las consecuencias pueden ir más allá de una respuesta incorrecta.
En este escenario, las empresas de inteligencia artificial comenzaron a proponer mecanismos de supervisión propios, incluidos evaluadores externos que trabajen dentro de las organizaciones para observar los modelos y detectar posibles riesgos. Sin embargo, ese enfoque voluntario genera dudas sobre la independencia real de los supervisores y el alcance de sus atribuciones.
La iniciativa de Anthropic avanza un paso más al plantear un procedimiento legislativo y judicial para detener modelos bajo determinadas condiciones. Aun así, no resuelve por completo el debate sobre cómo financiar las evaluaciones, garantizar su imparcialidad o definir con precisión cuándo una amenaza resulta suficientemente inminente para justificar una suspensión.
La postura contrasta con la de Jensen Huang, CEO de Nvidia, quien sostuvo recientemente que la industria de inteligencia artificial no necesita nuevas leyes y que la seguridad debería quedar en manos de las propias empresas.
La diferencia entre ambas posiciones refleja una tensión creciente dentro del sector: mientras algunos ejecutivos defienden la autorregulación, otros buscan establecer mecanismos formales de control antes de que los riesgos se materialicen.
El borrador de Anthropic no equivale a una ley aprobada ni implica que los modelos de IA vayan a quedar automáticamente sujetos a estas restricciones. Se trata de una propuesta que la compañía busca impulsar ante el Congreso estadounidense. Su eventual adopción podría marcar un cambio en la forma de supervisar los sistemas más avanzados, al establecer criterios de riesgo, evaluaciones independientes y una instancia judicial para decidir sobre su distribución.