La compañía lanzó un modelo abierto que puede procesar conversaciones en 40 idiomas, identificar hasta ocho interlocutores y responder preguntas sobre el contenido de las grabaciones. También presentó una nueva versión de su conjunto de datos Granary, con más de 463.000 horas de audio en 48 idiomas.
Nvidia presentó Nemotron 3.5 Transcribe, un modelo de inteligencia artificial diseñado para transcribir, traducir y analizar archivos de audio en una única operación. La herramienta puede procesar hasta 100 horas de grabaciones, trabajar con 40 idiomas, identificar hasta ocho interlocutores y responder preguntas sobre el contenido de una conversación.
La novedad apunta a simplificar los procesos que habitualmente requieren varias herramientas o etapas de procesamiento. Los sistemas tradicionales suelen detectar primero el habla, convertirla en texto, identificar a los participantes y, finalmente, permitir consultas sobre la transcripción. Nemotron 3.5 reúne esas capacidades en una sola ejecución del modelo.
La compañía también destacó su rendimiento en infraestructura de diferentes escalas: puede funcionar desde dispositivos de computación en el borde hasta centros de datos, dependiendo del nivel de compresión utilizado.
Un modelo de 30.000 millones de parámetros que funciona en una sola GPU
Nemotron 3.5 Transcribe es un modelo de pesos abiertos con 30.000 millones de parámetros, basado en una arquitectura de mezcla de expertos (Mixture of Experts o MoE), de los cuales 4.000 millones permanecen activos durante el procesamiento.
Esta arquitectura permite que el modelo pueda ejecutarse en hardware relativamente compacto, aunque el uso de equipos más potentes permite acelerar las tareas de transcripción.
Según Nvidia, puede funcionar en una única GPU de la compañía, desde una Jetson AGX Thor —una plataforma de computación para robótica y dispositivos de borde— o una DGX Spark, hasta una GPU Blackwell destinada a centros de datos.
Uno de los datos de rendimiento más destacados corresponde a la edición Blackwell Server. Nvidia asegura que, utilizando precisión NVFP4 y una compresión del modelo de cuatro veces, el sistema puede procesar 100 horas de audio en menos de tres minutos.
La empresa también publicó resultados sobre precisión. En las pruebas iniciales, el modelo registró una tasa de error de palabras del 30,8%, que puede reducirse al 20,8% mediante instrucciones cuidadosamente diseñadas. En una adaptación específica para el benchmark de habla médica de India Eka Care, la tasa de error llegó al 11,8%.
Estos indicadores muestran que el rendimiento puede variar según las instrucciones proporcionadas y el grado de especialización del modelo.
Una misma grabación puede generar transcripciones, traducciones y respuestas
Otra de las características de Nemotron 3.5 es la posibilidad de orientar el análisis mediante instrucciones en lenguaje natural. Los usuarios pueden solicitar una transcripción con identificación de interlocutores, una traducción al inglés o respuestas sobre las decisiones tomadas durante una reunión.
También es posible combinar varias de estas tareas en una misma instrucción. Por ejemplo, el sistema puede recibir la indicación de transcribir una grabación, identificar quién habla y traducir el contenido.
Nvidia señala que los usuarios pueden proporcionar vocabulario técnico, expresiones específicas o información contextual antes del procesamiento. El objetivo es que el modelo reconozca mejor los términos propios de una conversación y mejore la precisión de los resultados.
Esta flexibilidad permite obtener diferentes formatos de salida a partir de una misma grabación y del mismo punto de control del modelo, sin tener que recurrir necesariamente a sistemas separados para cada tarea.
Granary v2 amplía los datos disponibles para entrenar y adaptar modelos
Junto con Nemotron 3.5 Transcribe, Nvidia presentó Granary v2, una nueva versión de su conjunto de datos abierto para inteligencia artificial aplicada al habla multilingüe. Desarrollado con Nvidia NeMo Curator, amplía considerablemente la cobertura de la versión anterior.
El manifiesto público de Granary v2 reúne 463.062 horas de audio, distribuidas en 48 idiomas y 16 corpus de origen. Granary v1 cubría 25 idiomas. Nvidia aclaró que estas cifras corresponden al conjunto de datos publicado y no representan la totalidad de la mezcla de entrenamiento del modelo ni las ponderaciones utilizadas para seleccionar las muestras.
Granary v2 genera tres transcripciones para cada grabación, con distintos criterios de presentación. Una conserva el contenido completo, incluidas las muletillas y expresiones como «eh» o «mmm». Otra transforma las expresiones numéricas en cifras y una tercera elimina las palabras de relleno.
Estos formatos pueden solicitarse mediante instrucciones al modelo y permiten adaptar los resultados a diferentes necesidades de lectura y procesamiento. Además, los datos de la nueva versión pueden utilizarse para ajustar modelos a idiomas o dominios específicos.
Nemotron 3.5 Transcribe ya está disponible a través de una demostración en Hugging Face. Los desarrolladores también pueden descargar el modelo y realizar procesos de fine-tuning para adaptarlo a conocimientos especializados y necesidades concretas.