نفيديا تُطلق مفتوحة المصدر نموذج Nemotron 3 Ultra بحجم 550B ببنية هجينة Mamba-Transformer MoE

وفقًا لمراقبة Beating، أطلقت NVIDIA رسميًا في 4 يونيو النموذج اللغوي الكبير الرائد Nemotron 3 Ultra بـ 550 مليار معلمة و55 مليار تنشيط، وهو مُحسّن لمهام الوكلاء الطويلة مثل التخطيط المعقد والاستدلال واستدعاء الأدوات. حصل Nemotron 3 Ultra على درجة 48 في مؤشر الذكاء لمنصة القياس الخارجية Artificial Analysis، ليصبح أقوى نموذج مفتوح المصدر من حيث الأداء داخل الولايات المتحدة حاليًا، متجاوزًا فقط نموذج Kimi K2.6 من Moonshot الذي حصل على درجة 54. من حيث البنية التقنية، يستخدم النموذج معمارية MoE الهجينة Mamba-Transformer، والتي تستخدم بالتناوب طبقات نموذج مساحة الحالة Mamba-2 مع طبقات الانتباه الذاتي Transformer، مما يتجنب عقبة الذاكرة التي تزداد بشكل تربيعي مع سياق طويل جدًا، ويدعم نافذة سياقية تصل إلى 1 مليون token بتكاليف ذاكرة منخفضة جدًا. مقارنةً بالنماذج الكثيفة ذات الحجم المماثل، زادت المعمارية الهجينة من خلالput من خلالput 5 مرات في مهام الوكلاء، وخفضت تكلفة الاستنتاج بنسبة 30%. من حيث البيئة المحيطة، أطلقت NVIDIA في نفس الوقت حزمة أدوات الوكيل Agent Toolkit التي تتضمن مخططات التوجيه NemoClaw وبيئة التشغيل OpenShell. تتضمن المواد المفتوحة مباشرةً أوزان النموذج ومجموعات البيانات ووصفات التدريب. تم إطلاق النموذج بالفعل على Hugging Face وNVIDIA NIM وOpenRouter، وأعلنت شركات متخصصة في الذكاء الاصطناعي للبحث المؤسسي مثل Glean بالفعل عن دمجها، كحل بديل للنماذج اللغوية الكبيرة المغلقة التجارية.