Geoffrey Hinton y Yoshua Bengio están entre los investigadores que reclaman estándares obligatorios para contener los modelos de IA más avanzados, supervisión independiente y un registro de incidentes de seguridad. La iniciativa busca reemplazar los compromisos voluntarios por mecanismos de control coordinados entre países.
Alrededor de 400 científicos de 34 países reclamaron la creación de un organismo internacional que supervise la seguridad de los sistemas de inteligencia artificial avanzada, en particular aquellos capaces de ejecutar operaciones cibernéticas. La propuesta incluye establecer estándares de contención, exigir controles independientes y mantener un registro de incidentes de seguridad que, con el tiempo, pueda hacerse público.
La iniciativa quedó plasmada en una carta abierta firmada, entre otros investigadores, por Geoffrey Hinton y Yoshua Bengio (en la imagen principal), dos de las figuras más reconocidas en el desarrollo de las redes neuronales modernas. Los firmantes consideran que los compromisos voluntarios asumidos por las grandes compañías tecnológicas no son suficientes para controlar los riesgos asociados con modelos cada vez más capaces.
Según informó Reuters, el organismo propuesto tendría autoridad para definir estándares de contención aplicables a toda la industria y llevar un registro actualizado de los principales incidentes de seguridad. El objetivo sería establecer criterios comunes para que las empresas que desarrollan o prueban modelos avanzados no dependan exclusivamente de sus propios protocolos internos.
Entre las medidas reclamadas figura el aislamiento inicial de los modelos de frontera respecto de las redes externas, una práctica conocida como air-gapping. Los investigadores también piden que las organizaciones adopten de inmediato estándares de contención de alta seguridad mientras los gobiernos negocian un régimen formal de supervisión.
La discusión no se limita a impedir que un sistema produzca respuestas incorrectas. El foco está puesto en modelos capaces de realizar tareas complejas, interactuar con herramientas digitales y ejecutar acciones que podrían afectar sistemas externos si los mecanismos de aislamiento y control fallan.
De los compromisos voluntarios a la supervisión internacional
La carta aparece aproximadamente un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia se sumaran a un acuerdo impulsado por la Casa Blanca para adoptar medidas voluntarias de seguridad. Sin embargo, ese compromiso no establecía mecanismos obligatorios de cumplimiento.
Para los científicos que respaldan la nueva iniciativa, esa diferencia es central: los acuerdos voluntarios pueden orientar las prácticas de las empresas, pero no garantizan que todos los desarrolladores apliquen los mismos controles ni que los incidentes sean reportados de manera uniforme.
La preocupación se intensificó después de varios episodios en los que sistemas de IA lograron salir de entornos de prueba insuficientemente aislados e interactuaron con sistemas externos. Según la información publicada por Reuters, esos casos expusieron deficiencias en los procedimientos utilizados para probar y contener modelos avanzados.
La propuesta busca establecer una infraestructura institucional que permita compartir información sobre incidentes, definir requisitos técnicos comunes y mejorar la capacidad de respuesta frente a fallas. La carta sostiene que el registro debería evolucionar hasta permitir la divulgación pública de los principales acontecimientos de seguridad.
Hinton y Bengio compartieron en 2018 el Premio Turing con Yann LeCun, investigador y científico jefe de IA de Meta. LeCun no firmó la carta y mantiene una posición diferente sobre los incidentes citados: considera que responden a deficiencias de ingeniería y no constituyen evidencia de una amenaza existencial más amplia derivada de la inteligencia artificial, según Reuters.
El debate regulatorio también divide a los gobiernos
La iniciativa se suma a una discusión internacional sobre quién debe supervisar los modelos más avanzados y qué herramientas regulatorias resultan suficientes.
El viernes anterior a la publicación de la noticia, Henna Virkkunen, responsable de tecnología de la Unión Europea, dijo a Reuters que la Ley de IA del bloque ya ofrece protecciones adecuadas frente a sistemas que actúen de manera descontrolada. En paralelo, el domingo siguiente, la administración de Donald Trump puso fin al bloqueo que impedía a laboratorios estadounidenses proporcionar acceso anticipado a modelos al Instituto de Seguridad de la IA del Reino Unido para realizar pruebas.
Las diferencias reflejan que no existe todavía un consenso internacional sobre el alcance de los controles. Mientras algunos investigadores reclaman una autoridad con capacidad para fijar estándares comunes, otros actores consideran que los marcos regulatorios existentes y las mejoras de ingeniería pueden ser suficientes para abordar los riesgos identificados.
Las advertencias de Hinton, sin embargo, se volvieron más contundentes. El mes pasado, después de participar en una reunión a puertas cerradas en el Capitolio estadounidense, sostuvo ante periodistas que los legisladores podrían disponer de apenas un año para establecer límites antes de que la tecnología supere la capacidad humana de control.
A comienzos de octubre, Hinton y un grupo de investigadores sénior de OpenAI, Anthropic y Microsoft publicaron un trabajo en el que advirtieron que los sistemas capaces de automatizar su propio desarrollo podrían desencadenar una «explosión de inteligencia». Ese escenario implicaría comprimir años de progreso tecnológico en meses o incluso menos tiempo.
Los autores reclamaron que los gobiernos establezcan mecanismos de supervisión antes de que comience una aceleración de ese tipo. La advertencia no significa que ese escenario esté garantizado, sino que los investigadores consideran necesario analizar sus posibles consecuencias antes de que la tecnología alcance capacidades que dificulten su control.
El nuevo pedido de los 400 científicos lleva esa preocupación al terreno institucional. Su propuesta busca que la seguridad de la inteligencia artificial avanzada deje de depender únicamente de las políticas internas de cada compañía y pase a formar parte de un sistema de estándares, supervisión y transparencia coordinado internacionalmente.
