NVIDIA、Mamba-TransformerハイブリッドMoEアーキテクチャを採用した550B Nemotron 3 Ultraモデルをオープンソース化

動察 Beating の監測によると、NVIDIAは6月4日、5500億パラメータ、550億アクティベーションを有するフラッグシップ大言語モデル「Nemotron 3 Ultra」を正式にオープンソース化し、複雑な計画、推論、ツール呼び出しなどの長距離エージェントタスクに最適化しました。第三者ベンチマークプラットフォームArtificial Analysisのインテリジェンススコアでは、Nemotron 3 Ultraは48点を獲得し、現在アメリカ国内で最もパフォーマンスの高いオープンソース重みモデルであり、月の裏側の54点のKimi K2.6に次いでいます。技術アーキテクチャでは、モデルはMamba-Transformerハイブリッドエキスパート構造MoEを採用し、Mamba-2状態空間モデル層とTransformer自己注意層を交互に使用することで、超長コンテキストにおけるKVキャッシュの二次関数的増加というメモリボトルネックを回避し、極めて低いメモリオーバーヘッドで100万トークンのコンテキストウィンドウをサポートします。同規模のデンスモデルと比較して、このハイブリッドアーキテクチャはエージェントタスクにおいて5倍のスループットを向上させ、推論コストを30%削減しました。エコシステム面では、NVIDIAはNemoClawオーケストレーションテンプレートとOpenShellランタイムを含むエージェントツールキット「Agent Toolkit」を同時にリリースしました。オープンソースコンテンツには、モデル重み、データセット、トレーニングレシピが直接含まれています。モデルはHugging Face、NVIDIA NIM、OpenRouterで既に公開されており、企業向けAI検索サービス提供企業のGleanなども既に接続を発表し、商用閉源大規模モデルの代替案として利用しています。