NVIDIA Membuka Sumber Model Nemotron 3 Ultra 550B dengan Arsitektur Hibrida Mamba-Transformer MoE

Berdasarkan pemantauan Beating, NVIDIA secara rasmi membuka sumber model bahasa besar unggulan Nemotron 3 Ultra dengan 550 bilion parameter dan 55 bilion aktivasi pada 4 Jun, yang telah dioptimaskan untuk tugas agen jangka panjang seperti perancangan kompleks, penalaran, dan pemanggilan alat. Dalam indeks kecerdasan platform pihak ketiga Artificial Analysis, Nemotron 3 Ultra mendapat skor 48, menjadikannya model bersumber terbuka dengan prestasi terbaik di Amerika Syarikat, hanya kalah daripada Kimi K2.6 milik Yue Zhi An Mian yang mendapat skor 54. Dari segi arsitektur teknikal, model ini menggunakan arsitektur campuran Mamba-Transformer MoE, yang menggabungkan lapisan model ruang keadaan Mamba-2 dan lapisan perhatian diri Transformer secara bergilir, mengelakkan bottleneck memori yang meningkat secara kuadratik akibat cache KV pada konteks sangat panjang, sambil menyokong jendela konteks 1 juta token dengan penggunaan memori yang sangat rendah. Berbanding model dense berskala serupa, arsitektur campuran ini meningkatkan throughput sebanyak 5 kali ganda dan mengurangkan kos inferensi sebanyak 30% dalam tugas agen. Dari segi ekosistem, NVIDIA juga melancarkan toolkit agen Agent Toolkit yang merangkumi rancangan pengaturan NemoClaw dan runtime OpenShell. Kandungan sumber terbuka termasuk secara langsung berat model, set data, dan resepi latihan. Model ini kini tersedia di Hugging Face, NVIDIA NIM, dan OpenRouter, dan penyedia carian AI perniagaan seperti Glean telah mengumumkan integrasi mereka, menjadikannya alternatif kepada model bahasa besar tertutup komersial.