NVIDIA відкрила код 550B моделі Nemotron 3 Ultra з гібридною архітектурою Mamba-Transformer MoE

За даними Beating Monitoring, NVIDIA офіційно відкрила код 550 мільярдів параметрів та 55 мільярдів активованих флагманської великої мовної моделі Nemotron 3 Ultra 4 червня, оптимізувавши її для складних завдань планування, міркування та виклику інструментів. На платформі зовнішнього тестування Artificial Analysis, Nemotron 3 Ultra отримала 48 балів за інтелектуальним індексом — це найпотужніша відкрита модель на сьогоднішній день у США, поступаючись лише Kimi K2.6 від Moonshot з результатом 54 бали. З технічної точки зору, модель використовує гібридну архітектуру Mamba-Transformer з експертами MoE, що чергують шари Mamba-2 простору станів з шарами самоуваги Transformer, уникнувши пам’ятного обмеження квадратичного зростання KV-кешу при наддовгих контекстах і підтримавши вікно контексту в 1 мільйон токенів при надзвичайно низькому споживанні пам’яті. Порівняно з однаковими за розміром dense-моделями, гібридна архітектура збільшує пропускну здатність на 5 разів та зменшує вартість висновку на 30% у завданнях агентів. У сфері екосистеми NVIDIA одночасно запустила інструментарій Agent Toolkit, що включає оркеструючий шаблон NemoClaw та середовище OpenShell. Відкритий код містить безпосередньо ваги моделі, набори даних та рецепти навчання. Модель вже доступна на Hugging Face, NVIDIA NIM та OpenRouter, а такі підприємствені постачальники штучного інтелекту для пошуку, як Glean, оголосили про підключення як альтернативи комерційним закритим великим мовним моделям.