El nuevo acelerador de inferencia diseñado a medida por OpenAI mostró mejoras de velocidad, latencia y eficiencia energética frente a sistemas comerciales. La compañía planea comenzar a desplegarlo en su infraestructura antes de fin de año.
OpenAI presentó los primeros resultados de Jalapeño, su primer chip de inferencia diseñado a medida, y aseguró que la nueva arquitectura puede procesar más trabajo de inteligencia artificial por unidad de energía, responder con mayor velocidad y reducir significativamente la latencia.
La apuesta representa un paso estratégico para OpenAI en el negocio de la infraestructura. La compañía busca diseñar de manera integrada sus modelos, productos, software, chips, memoria, redes y sistemas para optimizar el funcionamiento de las cargas de trabajo de inteligencia artificial, especialmente las vinculadas con agentes capaces de ejecutar múltiples pasos de manera secuencial.
Según los resultados divulgados por OpenAI, Jalapeño fue probado con tres grandes modelos públicos: GPT-OSS 120B, DeepSeek R1 y Kimi K2.5 1T. En los tres casos, el chip ofreció entre 1,5 y 1,9 veces más trabajo de IA por vatio en el máximo rendimiento y una latencia de extremo a extremo entre 1,7 y 3,6 veces menor que los sistemas utilizados como comparación.
Para las cargas de trabajo más interactivas, los resultados fueron todavía mayores: Jalapeño alcanzó entre 2,1 y 4,1 veces más rendimiento.
OpenAI evaluó el sistema utilizando InferenceX, una prueba comparativa pública de SemiAnalysis que mide el proceso completo de atender una solicitud de inteligencia artificial. La compañía sostiene que la métrica más relevante no es simplemente el rendimiento por chip, sino la cantidad de trabajo útil que puede realizarse por unidad de energía sin superar los niveles de latencia requeridos por los usuarios y los agentes interactivos.
El chip tiene una potencia nominal de 700 vatios, aunque OpenAI indicó que su potencia sostenida medida se mantuvo en 550 vatios o menos durante las cargas de trabajo evaluadas.
En GPT-OSS 120B, DeepSeek R1 670B y Kimi K2.5 1T, Jalapeño mostró una combinación superior de rendimiento por vatio y latencia. En el caso de Kimi K2.5, el modelo público más grande utilizado en las pruebas, OpenAI aseguró que alcanzó aproximadamente 1,5 veces más rendimiento máximo por vatio y una latencia integral 3,4 veces menor que el sistema de comparación.
Un chip diseñado para la nueva generación de agentes
La arquitectura de Jalapeño fue concebida específicamente para las necesidades de los modelos de lenguaje modernos y futuros. La inferencia combina distintas fases con diferentes cuellos de botella.
El procesamiento inicial del prompt, conocido como prefill, requiere una gran capacidad de cálculo. La etapa de decodificación, en la que el modelo genera una respuesta token por token, depende en mayor medida del ancho de banda de memoria.
A eso se suma otro desafío: la comunicación entre núcleos y chips puede aumentar la latencia y dejar recursos informáticos esperando datos.
OpenAI diseñó Jalapeño para reducir el movimiento de datos y las demoras de comunicación. El objetivo es mantener local el estado del modelo, incluida la caché KV utilizada durante la generación de respuestas, y coordinar de manera eficiente la computación, la memoria y las redes.
La compañía sostiene que esa arquitectura permite construir un acelerador capaz de adaptarse a diferentes modelos y a cambios en el equilibrio entre las distintas etapas de inferencia, una característica especialmente importante para las cargas de trabajo de IA con agentes.
La inteligencia artificial también ayudó a crear Jalapeño
Uno de los aspectos más llamativos del proyecto es que OpenAI utilizó inteligencia artificial para desarrollar su propio chip de inteligencia artificial.
Según la compañía, la IA permitió acelerar el proceso desde el diseño inicial hasta la fabricación del primer prototipo, que se completó en apenas nueve meses. Los modelos ayudaron a explorar diferentes implementaciones, acortar los ciclos de diseño, medición y verificación y optimizar los circuitos aritméticos.
Además, Jalapeño fue diseñado para ser programado tanto por ingenieros como por sistemas de IA.
Con Codex y GPT-Astra, OpenAI logró adaptar tres modelos de pesos abiertos que originalmente no estaban contemplados en el plan de producción de Jalapeño y llevarlos a un alto rendimiento en dos meses.
En determinados bloques de atención y mezcla de expertos de GPT-OSS, las implementaciones generadas por inteligencia artificial fueron entre 1,5 y 1,8 veces más rápidas que las implementaciones existentes desarrolladas por especialistas humanos. OpenAI aclaró que esas cifras corresponden a bloques seleccionados y no al rendimiento completo del modelo.
El próximo paso: llevar Jalapeño a producción
OpenAI planea comenzar a implementar Jalapeño en su infraestructura de computación a finales de este año. El proyecto será la primera generación de una hoja de ruta de varias etapas.
La Gen 2 ya está en pleno desarrollo y la Gen 3 comienza a tomar forma.
Para la empresa, una mayor eficiencia en la inferencia puede permitir atender más demanda utilizando la misma cantidad de energía y hardware, reducir el costo de obtener resultados y mejorar el apalancamiento operativo.
Sin embargo, OpenAI dejó claro que Jalapeño no reemplazará su estrategia de utilizar infraestructura de otros proveedores. La compañía aseguró que continuará desplegando ampliamente aceleradores de NVIDIA y otros socios para cargas de trabajo tanto de entrenamiento como de inferencia.
Los primeros resultados convierten a Jalapeño en una nueva pieza de la estrategia de OpenAI para controlar cada vez más capas de su infraestructura tecnológica. La compañía que desarrolla algunos de los modelos de IA más utilizados del mundo ahora busca también diseñar el hardware capaz de ejecutarlos con mayor velocidad y eficiencia.
La carrera por la inteligencia artificial ya no se juega solamente en los modelos. También se disputa, cada vez más, en el silicio que los hace posibles.