اسویلیٹ 80B کوئن ماڈل کو میک پر 4.3GB پیک میموری کے ساتھ چلانے کے لیے چھوٹا کر دیتا ہے

iconKuCoinFlash
بانٹیں
AI summary iconخلاصہ
میٹا ایرا سے ایک نیا پراجیکٹ اعلان، جس میں سویفٹلیٹ پراجیکٹ نے سویفٹ اور میٹل کا استعمال کرتے ہوئے Qwen3-Next اور دیگر MoE ماڈلز کو میکس کے لیے بہتر بنایا ہے۔ صرف ایک چھوٹا سا ڈینس کور میموری میں لوڈ کرتے ہوئے اور ایکسپرٹ وزن کو SSD سے سٹریم کرتے ہوئے، 4-بٹ Qwen3.6-35B-A3B ماڈل کو ایک M5 میک پر صرف 18GB ڈسک سپیس اور 2.6GB پیک میموری کی ضرورت ہے، جس کی ڈیکوڈنگ رفتار 7–11 ٹوک/سیکنڈ ہے۔ یہ آن-چین خبر صارفین کے ہارڈویئر پر بڑے ماڈلز کے موثر ڈپلوymenٹ کو ظاہر کرتی ہے۔
ME AI کا پیغام، Swiftlet پروجیکٹ Swift + Metal کا استعمال کرتا ہے تاکہ Qwen3-Next جیسے MoE ماڈلز Mac پر بہت ہلکے انداز میں چل سکیں: صرف ایک چھوٹا سا ڈینس کور مسلسل چلتا ہے، جبکہ ایکسپرٹ وزن SSD پر محفوظ ہوتے ہیں اور ضرورت پڑنے پر سٹریمنگ کے ذریعے لوڈ ہوتے ہیں۔ M5 Mac پر، Qwen3.6-35B-A3B کا 4-bit ورژن صرف 18GB ڈسک جگہ قبضہ کرتا ہے، اس کی اچھی سے اچھی میموری استعمال 2.6GB ہے، اور ڈیکوڈنگ رفتار 7–11 tok/s تک پہنچ جاتی ہے۔ (ذرائع: MLion)
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔