NVIDIA открывает исходный код модели Nemotron 3 Ultra с архитектурой Mamba-Transformer Hybrid MoE объемом 550 млрд параметров

Согласно данным Beating Monitoring, NVIDIA официально открыла исходный код своей флагманской языковой модели Nemotron 3 Ultra с 550 миллиардами параметров и 55 миллиардами активированных параметров 4 июня. Модель оптимизирована для сложных задач планирования, рассуждения и вызова инструментов. На платформе стороннего тестирования Artificial Analysis интеллектуальный индекс Nemotron 3 Ultra составляет 48 баллов — это наивысший показатель среди всех открытых моделей, разработанных в США, уступая только Kimi K2.6 от Moonshot AI с результатом 54 балла. С точки зрения архитектуры, модель использует гибридную архитектуру Mamba-Transformer с экспертами (MoE), чередуя слои Mamba-2 пространства состояний и слои самовнимания Transformer, что позволяет избежать квадратичного роста памяти для KV-кэша при обработке сверхдлинных контекстов и поддерживать окно контекста в 1 миллион токенов при крайне низких затратах памяти. По сравнению с плотными моделями того же масштаба, гибридная архитектура повышает пропускную способность на 5 раз и снижает стоимость вывода на 30% при выполнении задач агентов. В экосистеме NVIDIA одновременно выпустила набор инструментов для агентов Agent Toolkit, включающий оркестрационный шаблон NemoClaw и среду выполнения OpenShell. Открытый код включает веса модели, наборы данных и рецепты обучения. Модель уже доступна на Hugging Face, NVIDIA NIM и OpenRouter, а такие корпоративные поставщики AI-поиска, как Glean, объявили о подключении, используя её в качестве альтернативы коммерческим закрытым крупным языковым моделям.