NVIDIA open-source le modèle Nemotron 3 Ultra de 550 milliards avec une architecture hybride Mamba-Transformer MoE

Selon les observations de Beating, NVIDIA a officiellement open-sourcé le 4 juin le modèle de langage massif Nemotron 3 Ultra, doté de 550 milliards de paramètres et 55 milliards d'activations, optimisé pour des tâches d'agents à long terme telles que la planification complexe, le raisonnement et l'appel d'outils. Sur la plateforme tierce Artificial Analysis, Nemotron 3 Ultra obtient un score de 48 points, ce qui en fait le modèle open-source le plus performant aux États-Unis, derrière le Kimi K2.6 de Moonshot AI qui obtient 54 points. Sur le plan technique, le modèle utilise une architecture mixte Mamba-Transformer à experts (MoE), alternant des couches de modèle d'espace d'état Mamba-2 et des couches d'attention auto-attention Transformer, contournant ainsi le goulot d'étranglement mémoire lié à la croissance quadratique du cache KV dans les contextes extrêmement longs, tout en supportant une fenêtre de contexte de 1 million de tokens avec une consommation mémoire extrêmement faible. Par rapport aux modèles denses de taille équivalente, cette architecture hybride augmente le débit de 5 fois et réduit les coûts d'inférence de 30 % dans les tâches d'agents. Sur le plan de l'écosystème, NVIDIA a simultanément lancé le kit d'outils pour agents (Agent Toolkit), incluant le schéma d'orchestration NemoClaw et l'environnement d'exécution OpenShell. Le contenu open-source inclut directement les poids du modèle, les jeux de données et les recettes d'entraînement. Le modèle est désormais disponible sur Hugging Face, NVIDIA NIM et OpenRouter, et des fournisseurs professionnels de recherche par IA comme Glean ont déjà annoncé leur intégration, en tant que solution de remplacement aux modèles de langage massifs propriétaires.