Beating مانیٹرنگ کے مطابق، چینی بڑے ماڈل فرما MiniMax نے Hugging Face پر اپنا اصلی بہت متعدد ماڈل (MoE) ماڈل MiniMax M3 کے وزن کو کھلا کر دیا ہے۔ MiniMax M3 کی کل پیرامیٹرز کی تعداد 4280 ارب ہے، جبکہ ایک ٹوکن کے لیے 230 ارب پیرامیٹرز فعال ہوتے ہیں، اور یہ اصلی طور پر 100 لاکھ کے طویل سیاق و سباق کو سپورٹ کرتا ہے۔ ڈپلویمنٹ کے لیے GPU میموری کے استعمال کو کم کرنے کے لیے، ڈویلپمنٹ ٹیم نے MXFP8 کو مقدار میں کم کرنے والا ورژن بھی جاری کیا ہے اور SGLang، vLLM، Transformers جیسے مشہور انفرینس فریم ورکس کے ساتھ اسے موزوں بنایا ہے۔ متعدد ماڈل ڈیزائن میں، MiniMax M3 نے تربیت کے دوران ہی متن، تصویر اور ویڈیو کو مشترکہ طور پر تربیت دی تاکہ بعد کی تربیت کے مرحلے میں متعدد ماڈل کو مطابقت دینے کی ضرورت نہ پڑے۔ عمل کے طریقہ کار میں، ماڈل دو انفرینس موڈز فراہم کرتا ہے: جٹھلوجک اور ٹول آرگنائزیشن کے لیے Thinking (سوچنے والا) موڈ، اور کم تاخیر والے مکالمات اور کوڈ جنریشن کے لیے Non-thinking (سوچنے والا نہیں) موڈ۔ لاکھوں طویل سیاق و سباق کو سپورٹ کرنے والے بنیادی کرنل، MiniMax Sparse Attention (MSA) نامی ہلکا توجہ کرنل لائبریری ہے جو بھی کھلا کر دیا گیا ہے۔ سرکاری اعداد و شمار کے مطابق، MSA نے گروپڈ کوئری اٹینشن (GQA) اور بلاک ریٹریول مکانزم استعمال کیا ہے، جس نے 100 لاکھ ٹوکنز کے بہت طویل سیاق و سباق میں NVIDIA Blackwell (SM100) آرکٹیکچر کے لیے بہترین آپریٹرز فراہم کیے ہیں، جو روایتی مکمل توجہ مکانزم کے مقابلے میں پری فلشِنگ میں 9 گنا اور ڈکوڈنگ میں 15 گنا تیز رفتاری فراہم کرتا ہے، جبکہ انفرینس لاگت بھی نمایاں طور پر کم ہوتی ہے۔
MiniMax M3 کو نیٹیو متعدد موڈل سپورٹ اور 1M کنٹیکس لمبائی کے ساتھ اوپن سورس کر دیا گیا ہے
MarsBitبانٹیں
خلاصہ
مینی میکس نے اپنے نیٹیو متعدد ماڈل MoE مدل M3 کو Hugging Face پر اوپن سورس کر دیا ہے، جس میں 428 ارب پیرامیٹرز اور 1 ملین ٹوکن کا کنٹیکس لمبائی ہے۔ یہ مدل متن، تصویر اور ویڈیو ڈیٹا کو نیٹیو سیمنٹک فیوژن کے ساتھ سپورٹ کرتا ہے۔ ایک MXFP8 کوانتائزڈ ورژن دستیاب ہے جو SGLang، vLLM، اور Transformers کے ساتھ مطابقت رکھتا ہے۔ بڑے ماڈل ٹولز میں اوپن انٹریسٹ اب بھی بلند ہے۔ M3 اوپن سورس MiniMax Sparse Attention (MSA) کرنل استعمال کرتا ہے، جو پریفِلِنگ اور ڈیکوڈنگ کو تیز کرتا ہے۔ خوف اور لالچ انڈیکس میں ظاہر ہونے والی مارکیٹ جذبات AI انفراسٹرکچر میں بڑھتی ہوئی اعتماد کو ظاہر کرتے ہیں۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔