NVIDIA เปิดแหล่งที่มาของโมเดล Nemotron 3 Ultra ขนาด 550B พร้อมสถาปัตยกรรม Mamba-Transformer Hybrid MoE

ตามการตรวจสอบของ Beating นีเวดาได้เปิดแหล่งที่มาอย่างเป็นทางการของโมเดลภาษาขนาดใหญ่รุ่น旗舰 Nemotron 3 Ultra ซึ่งมีพารามิเตอร์ 550 พันล้านและเปิดใช้งาน 55 พันล้านในวันที่ 4 มิถุนายน โดยได้รับการปรับแต่งสำหรับงานตัวแทนระยะยาว เช่น การวางแผนที่ซับซ้อน การให้เหตุผล และการเรียกใช้เครื่องมือ ในดัชนีปัญญาของแพลตฟอร์มอ้างอิงภายนอก Artificial Analysis Nemotron 3 Ultra ได้คะแนน 48 คะแนน ซึ่งเป็นโมเดลน้ำหนักเปิดแหล่งที่มาที่มีประสิทธิภาพสูงสุดในสหรัฐอเมริกาในขณะนี้ รองจาก Kimi K2.6 ของ Yue Zhi An Mian ที่ได้คะแนน 54 คะแนน ในด้านสถาปัตยกรรมทางเทคนิค โมเดลนี้ใช้สถาปัตยกรรมผสมผสานผู้เชี่ยวชาญ Mamba-Transformer MoE โดยสลับใช้ชั้นโมเดลพื้นที่สถานะ Mamba-2 กับชั้นการให้ความสำคัญแบบ self-attention ของ Transformer เพื่อหลีกเลี่ยงข้อจำกัดด้านหน่วยความจำที่เพิ่มขึ้นแบบกำลังสองของ KV cache ในบริบทที่ยาวมาก ทำให้รองรับหน้าต่างบริบท 1 ล้านโทเค็นด้วยค่าใช้จ่ายด้านหน่วยความจำต่ำมาก เมื่อเทียบกับโมเดลแบบ dense ขนาดเดียวกัน สถาปัตยกรรมแบบผสมผสานนี้เพิ่มปริมาณการผ่านข้อมูลขึ้น 5 เท่าและลดต้นทุนการให้เหตุผลลง 30% ในด้านระบบนิเวศสนับสนุน นีเวดาได้เปิดตัวชุดเครื่องมือตัวแทน Agent Toolkit พร้อมกับแผนผังการจัดการ NemoClaw และ OpenShell runtime เนื้อหาที่เปิดแหล่งที่มาประกอบด้วยน้ำหนักโมเดล ชุดข้อมูล และสูตรการฝึกอบรมโดยตรง โมเดลดังกล่าวได้ถูกเปิดใช้งานบน Hugging Face, NVIDIA NIM และ OpenRouter โดยบริษัทให้บริการค้นหา AI ระดับองค์กรอย่าง Glean ได้ประกาศเชื่อมต่อแล้วเพื่อใช้เป็นทางเลือกแทนโมเดลภาษาขนาดใหญ่แบบปิดแหล่งที่มา