Ziroh Labs colaboró con investigadores de la principal escuela de tecnología del país para diseñar un sistema asequible que, según afirma, puede ejecutar grandes modelos de IA sin necesidad de chips informáticos avanzados de empresas como Nvidia Corp.
El marco de trabajo de la compañía, llamado Kompact AI, se desarrolló en colaboración con el Instituto Indio de Tecnología de Madrás. Ziroh Labs afirmó que la plataforma permite que la IA se ejecute en las unidades centrales de procesamiento (CPU) presentes en los dispositivos informáticos cotidianos, a diferencia de las codiciadas y costosas unidades de procesamiento gráfico (GPU), que han sido la base del auge de la inteligencia artificial.
Un número creciente de desarrolladores de IA ha promocionado mejoras de eficiencia que les permiten usar menos chips en los meses posteriores al éxito viral de DeepSeek de China , que supuestamente construyó un modelo de IA competitivo por una fracción del costo de sus homólogos estadounidenses. El enfoque de Ziroh Labs se centra principalmente en el proceso de inferencia, es decir, en la operación de sistemas de IA una vez entrenados.
Ziroh Labs afirmó que puede optimizar los principales modelos de IA para ejecutarlos en computadoras personales. En un evento de demostración esta semana, el equipo de investigadores mostró su producto funcionando en una computadora portátil con un procesador Intel Xeon disponible comercialmente y consultando modelos como Llama 2 de Meta Platforms Inc. y Qwen2.5 de Alibaba Group Holding Ltd.
Otras empresas tecnológicas también han utilizado CPU para gestionar algunas cargas de trabajo de inferencia. Ziroh Labs afirmó que su enfoque produce resultados de alta calidad. La startup indicó que su tecnología ha sido probada por los fabricantes de chips estadounidenses Intel Corp. y Advanced Micro Devices Inc.
«Va a tener un impacto muy profundo en el mercado en los próximos años», dijo William Raduchel, ex director de estrategia de Sun Microsystems y asesor tecnológico de la startup, quien habló virtualmente en el evento.
Al igual que en otros países, los desarrolladores en India han tenido dificultades para costear y acceder a chips Nvidia de gama alta para desarrollar y dar soporte a productos de IA. La escasez de GPU podría frenar la velocidad y la escala de la investigación y el despliegue local de IA.
“La brecha en la IA se debe a que solo quienes cuentan con recursos de alta gama y costosos basados en GPU pueden acceder, desarrollar e implementar una IA potente”, afirmó V. Kamakoti, director del Instituto Indio de Tecnología de Madrás. “Estamos demostrando que no se necesita un revólver para matar un mosquito”.
