MiniMax تطلق طريقة MSA للانتباه النادر ونموذج MiniMax-M3

KuCoinFlash

وقت الإصدار: 06/17/2026 08:25:46

ملخص

كشفت أخبار السلسلة أن MiniMax كشفت عن MSA (MiniMax Sparse Attention)، وهي طريقة انتباه نادرة مبنية على Grouped Query Attention. تقسم الطريقة الانتباه إلى فرع مؤشر وفرع رئيسي، حيث يختار فرع المؤشر 16 كتلة رموز لكل مجموعة GQA، بينما يقوم الفرع الرئيسي بتنفيذ انتباه softmax دقيق على تلك الكتل. تم تدريب MSA على نموذج MoE بـ 109 مليار معلمة، وفتحت MiniMax مصدر نواة الاستنتاج `fmha_sm100` لأجهزة NVIDIA SM100 بموجب ترخيص MIT. كما أطلقت الشركة نموذج الإنتاج MiniMax-M3، الذي يطابق خطوط الأساس ذات الانتباه الكامل عبر عدة معايير. قد تستفيد قوائم الرموز الجديدة من هذه التطورات في كفاءة النموذج وأدائه.

ME AI رسالة، أطلقت MiniMax MSA (MiniMax Sparse Attention)، وهي طريقة للانتباه النادر تستند إلى Grouped Query Attention. تقوم بتفكيك الانتباه إلى فرع مؤشر وفرع رئيسي: يختار فرع المؤشر، بحجم كتلة (128 رمز افتراضيًا)، 16 كتلة من الرموز لكل مجموعة GQA (ميزانية ثابتة قدرها 2048 رمز مفتاح/قيمة)، بينما ينفذ الفرع الرئيسي انتباهًا دقيقًا بـ softmax فقط على هذه الكتل. تم تدريب MSA على نموذج MoE بـ 109 مليار معلمة، وتم فتح مصدر نواة الاستدلال الخاصة بـ NVIDIA SM100 `fmha_sm100` (ترخيص MIT، تدعم BF16/FP8/NVFP4/FP4)، كما تم إصدار النموذج الإنتاجي MiniMax-M3. حققت MSA-PT درجات 67.2 و77.7 و64.0 و84.2 و77.5 على MMLU وGSM8K وHumanEval وRULER-8K وRULER-32K على التوالي، مساويةً للخط الأساسي للانتباه الكامل. في سياق 128K، فإن اختيار Top-k خالٍ من التكلفة الحسابية أسرع بـ 5.1 مرة مقارنة بـ `torch.topk`. (المصدر: AiHot)

المصدر:عرض النسخة الأصلية

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.