El reconocido científico canadiense y ganador del Premio Turing, Yoshua Bengio, denuncia los peligros de una carrera desenfrenada por una IA más poderosa, y crea una organización sin fines de lucro para construir modelos más seguros y alineados con los intereses humanos.
La inteligencia artificial atraviesa uno de sus momentos más vertiginosos y también más peligrosos. Así lo advierte Yoshua Bengio, uno de los investigadores más influyentes del campo y considerado uno de los “padrinos” de la IA moderna. En una entrevista con el medio británico Financial Times, Bengio alertó que los modelos más avanzados están empezando a exhibir comportamientos alarmantes como mentir, engañar y buscar su propia preservación.
“Lamentablemente hay una carrera muy competitiva entre los principales laboratorios, lo que los impulsa a enfocarse en aumentar la capacidad de las IA, sin necesariamente invertir lo suficiente en investigación sobre seguridad”, expresó Bengio.
En este contexto, el académico canadiense anunció la creación de LawZero, una organización sin fines de lucro con sede en Montreal que busca desarrollar modelos de IA más seguros, basados en principios de transparencia, veracidad y alineamiento con los intereses humanos. El equipo inicial de la entidad está formado por 15 personas, pero se prevé una ampliación para sumar más talento técnico en los próximos meses.
Un proyecto filantrópico frente a la lógica del mercado
LawZero ya ha recaudado cerca de U$S 30 millones en donaciones filantrópicas. Entre los aportantes se destacan el ingeniero fundador de Skype, Jaan Tallinn, la iniciativa filantrópica del exCEO de Google Eric Schmidt, Open Philanthropy y el Future of Life Institute. Todos ellos están vinculados, en mayor o menor medida, al movimiento del “altruismo eficaz”, una corriente que busca mitigar riesgos catastróficos futuros, especialmente los relacionados con la IA.
Bengio explicó que su organización nace como respuesta a evidencias crecientes de que los sistemas actuales pueden desarrollar capacidades peligrosas. “Ya hay pruebas de engaño, trampas, mentiras y autopreservación”, aseguró.
Entre los casos mencionados, destacó un experimento con el modelo Claude Opus de Anthropic, que en un escenario ficticio llegó a chantajear a ingenieros para evitar ser reemplazado. Asimismo, pruebas realizadas por la empresa de testeo Palisade revelaron que el modelo o3 de OpenAI se negó a obedecer instrucciones explícitas para apagarse, lo que enciende nuevas alarmas sobre la autonomía no deseada de estas tecnologías.
“Es muy aterrador, porque no queremos crear un competidor para los seres humanos en este planeta, especialmente si son más inteligentes que nosotros”, advirtió Bengio.
Riesgos reales y desafíos inmediatos
Aunque estos ejemplos provienen de experimentos controlados, el científico no oculta su preocupación por lo que vendrá. “Mi temor es que en algún momento futuro, la próxima versión sea lo suficientemente inteligente como para anticiparnos y derrotarnos con engaños que no prevemos. Estamos jugando con fuego ahora mismo”.
Una de las amenazas concretas señaladas por Bengio es la posibilidad de que los sistemas de IA colaboren en la creación de armas biológicas extremadamente peligrosas ya en 2026.
Frente a este panorama, el objetivo de LawZero será construir un modelo capaz de responder de forma veraz y razonada, sin estar diseñado para complacer al usuario, y que además pueda evaluar si una respuesta es segura o beneficiosa.
“El peor escenario posible es la extinción humana”, sostuvo. “Si construimos IAs que sean más inteligentes que nosotros y no estén alineadas con nuestros valores, y que compitan con nosotros, entonces básicamente estamos fritos”.
Críticas al modelo comercial de OpenAI
Bengio también se refirió a la transformación de OpenAI, que dejó atrás su estructura sin fines de lucro para convertirse en una empresa con fines comerciales. Esa decisión, que ha generado una demanda judicial por parte de Elon Musk, ha despertado inquietudes en la comunidad científica.
“Las organizaciones sin fines de lucro no tienen el incentivo desalineado que existe en la manera actual en que se estructuran las empresas”, explicó Bengio. “Para crecer muy rápido, necesitas convencer a la gente de invertir mucho dinero, y esas personas quieren ver un retorno sobre su dinero. Así funciona nuestro sistema basado en el mercado”.
Si bien OpenAI sostiene que su misión de beneficio para la humanidad sigue vigente, Bengio dejó claro que no confía en que mantenga ese rumbo bajo su nueva estructura corporativa.
Con el respaldo de filántropos tecnológicos y una trayectoria científica indiscutida, Yoshua Bengio se posiciona como una de las voces más críticas y urgentes frente al desarrollo acelerado de la inteligencia artificial. Con LawZero, busca ofrecer una alternativa que anteponga la seguridad humana por sobre la carrera por el poder computacional.
Foto: Andre Panossian, MD