NVIDIA libera el modelo Nemotron 3 Ultra de 550B con arquitectura híbrida Mamba-Transformer MoE

Según el monitoreo de Beating, NVIDIA lanzó oficialmente el modelo de lenguaje grande insignia Nemotron 3 Ultra, de 550 mil millones de parámetros y 55 mil millones de activaciones, el 4 de junio. Este modelo está optimizado para tareas de agentes de larga duración, como planificación compleja, razonamiento y llamadas a herramientas. En la plataforma de evaluación externa Artificial Analysis, Nemotron 3 Ultra obtuvo una puntuación de 48 puntos, convirtiéndose en el modelo de pesos abiertos más potente de Estados Unidos, solo superado por el Kimi K2.6 de Moonshot, que obtuvo 54 puntos. En términos de arquitectura técnica, el modelo emplea una arquitectura Mamba-Transformer con expertos mixtos (MoE), que alterna capas de modelo de espacio de estado Mamba-2 con capas de autoatención Transformer, evitando el cuello de botella de memoria causado por el crecimiento cuadrático del caché KV en contextos extremadamente largos, y permitiendo una ventana de contexto de 1 millón de tokens con un consumo de memoria extremadamente bajo. En comparación con modelos densos del mismo tamaño, esta arquitectura híbrida mejora el rendimiento en un 5 veces en tareas de agentes y reduce un 30% el costo de inferencia. En cuanto al ecosistema, NVIDIA lanzó simultáneamente el Kit de Herramientas para Agentes (Agent Toolkit), que incluye el blueprint NemoClaw y el entorno de ejecución OpenShell. El código abierto incluye directamente los pesos del modelo, los conjuntos de datos y las recetas de entrenamiento. El modelo ya está disponible en Hugging Face, NVIDIA NIM y OpenRouter, y servicios empresariales de búsqueda por IA como Glean ya han anunciado su integración, utilizando este modelo como alternativa a modelos grandes cerrados comerciales.