مینی میکس نے MSA اسپارس ایٹینشن میتھڈ اور مینی میکس-M3 ماڈل شروع کیا
KuCoinFlashبانٹیں
خلاصہ
آن-چین خبروں سے پتہ چلتا ہے کہ MiniMax نے MSA (MiniMax Sparse Attention) کا اعلان کیا ہے، جو Grouped Query Attention پر مبنی ایک اسپارس توجہ کا طریقہ ہے۔ اس طریقہ میں توجہ کو ایک انڈیکس شاخ اور ایک بنیادی شاخ میں تقسیم کیا جاتا ہے، جہاں انڈیکس شاخ ہر GQA گروپ کے لیے 16 ٹوکن بلاکس منتخب کرتی ہے اور بنیادی شاخ ان بلاکس پر درست softmax توجہ کرتی ہے۔ MSA کو 109B پیرامیٹر MoE ماڈل پر تربیت دی گئی ہے، اور MiniMax نے NVIDIA SM100 GPU کے لیے `fmha_sm100` انفرینس کرنل کو MIT لائسنس کے تحت اوپن سورس کر دیا ہے۔ کمپنی نے پروڈکشن ماڈل MiniMax-M3 بھی لانچ کیا ہے، جو متعدد بینچ مارکس پر مکمل توجہ والے بنیادی ماڈلز کے برابر ہے۔ نئے ٹوکن لسٹنگز ان ماڈل کی کارکردگی اور کارآمدی میں بہتری سے فائدہ اٹھا سکتی ہیں۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔