La nueva técnica de Alibaba permite a los modelos de lenguaje entrenarse sin depender de motores de búsqueda externos, marcando un hito en la eficiencia y autonomía de la inteligencia artificial.
Alibaba Group ha presentado ZeroSearch, una innovadora técnica que permite a los modelos de lenguaje entrenarse para realizar búsquedas sin necesidad de interactuar con motores de búsqueda reales. Esta metodología no solo reduce significativamente los costos de entrenamiento, sino que también mejora el control sobre el proceso de aprendizaje de la IA.
Entrenamiento sin motores de búsqueda reales
Tradicionalmente, el entrenamiento de modelos de lenguaje para tareas de búsqueda requiere realizar numerosas consultas a motores de búsqueda, lo que implica altos costos y dependencia de servicios externos. ZeroSearch aborda este desafío mediante un enfoque de simulación que elimina la necesidad de estas interacciones costosas.
Según los investigadores de Alibaba, «el entrenamiento mediante aprendizaje por refuerzo requiere despliegues frecuentes, que potencialmente implican cientos de miles de solicitudes de búsqueda, lo que incurre en gastos sustanciales de API y limita severamente la escalabilidad.»
ZeroSearch utiliza un proceso de ajuste fino supervisado para transformar un modelo de lenguaje en un módulo de recuperación capaz de generar documentos relevantes e irrelevantes en respuesta a una consulta. Durante el entrenamiento, se emplea una estrategia de despliegue basada en un currículo que degrada gradualmente la calidad de los documentos generados, incentivando al modelo a mejorar sus capacidades de búsqueda sin depender de resultados reales.
Resultados sobresalientes y ahorro significativo
En pruebas realizadas en siete conjuntos de datos de preguntas y respuestas, ZeroSearch no solo igualó, sino que en ocasiones superó el rendimiento de modelos entrenados con motores de búsqueda reales. Un módulo de recuperación de 7 mil millones de parámetros logró un rendimiento comparable al de Google Search, mientras que uno de 14 mil millones de parámetros lo superó.
En términos de costos, el ahorro es notable. Entrenar con aproximadamente 64.000 consultas utilizando Google Search a través de SerpAPI costaría alrededor de U$S 586.70, mientras que emplear un modelo de simulación de 14 mil millones de parámetros en cuatro GPUs A100 cuesta solo U$S 70.80, lo que representa una reducción del 88%.
Los investigadores destacan que «esto demuestra la viabilidad de utilizar un modelo de lenguaje bien entrenado como sustituto de motores de búsqueda reales en configuraciones de aprendizaje por refuerzo.»
Implicaciones para el futuro de la IA
La introducción de ZeroSearch podría transformar la forma en que se desarrollan y entrenan los modelos de inteligencia artificial. Al eliminar la dependencia de motores de búsqueda externos, las empresas pueden reducir costos y tener un mayor control sobre el proceso de entrenamiento. Esto es especialmente beneficioso para startups y organizaciones con recursos limitados, democratizando el acceso al desarrollo de IA avanzada.
Además, al permitir que los modelos de lenguaje se entrenen de manera más autónoma, ZeroSearch abre la puerta a sistemas de IA más eficientes y personalizados, adaptados a necesidades específicas sin las limitaciones impuestas por servicios externos.
Alibaba ha puesto a disposición su código, conjuntos de datos y modelos preentrenados en plataformas como GitHub y Hugging Face, fomentando la colaboración y el avance en la comunidad de inteligencia artificial.
Con ZeroSearch, Alibaba no solo ha logrado una hazaña técnica significativa, sino que también ha establecido un nuevo estándar en el entrenamiento de modelos de lenguaje, marcando un paso importante hacia una IA más accesible y eficiente.