NVIDIA Membuka Sumber Model Nemotron 3 Ultra 550B dengan Arsitektur Hibrida Mamba-Transformer MoE

Menurut pemantauan Beating, NVIDIA secara resmi melepaskan model bahasa besar unggulan Nemotron 3 Ultra dengan 550 miliar parameter dan 55 miliar aktivasi pada 4 Juni, yang dioptimalkan untuk tugas agen jangka panjang seperti perencanaan kompleks, penalaran, dan pemanggilan alat. Pada indeks kecerdasan platform pihak ketiga Artificial Analysis, Nemotron 3 Ultra mendapat skor 48, menjadikannya model open-weight dengan performa terkuat di Amerika Serikat saat ini, hanya kalah dari Kimi K2.6 milik Moonshot dengan skor 54. Dari segi arsitektur teknis, model ini menggunakan arsitektur campuran Mamba-Transformer MoE, yang menggabungkan lapisan model ruang status Mamba-2 dengan lapisan perhatian diri Transformer, menghindari bottleneck memori kuadratik dari cache KV pada konteks sangat panjang, sehingga mendukung jendela konteks 1 juta token dengan overhead memori sangat rendah. Dibandingkan model dense seukuran, arsitektur campuran ini meningkatkan throughput hingga 5 kali lipat dan mengurangi biaya inferensi sebesar 30% untuk tugas agen. Dalam hal ekosistem, NVIDIA juga merilis toolkit agen Agent Toolkit yang mencakup blueprint orkestrasi NemoClaw dan runtime OpenShell. Konten open-source langsung mencakup bobot model, dataset, dan resep pelatihan. Model ini telah tersedia di Hugging Face, NVIDIA NIM, dan OpenRouter, dan penyedia layanan pencarian AI enterprise seperti Glean telah mengumumkan integrasi sebagai solusi pengganti model bahasa besar tertutup.