تقلص Swiftlet نموذج Qwen بحجم 80B ليتم تشغيله على جهاز Mac باستخدام ذاكرة قصوى قدرها 4.3 جيجابايت

iconKuCoinFlash
مشاركة
AI summary iconملخص
إعلان مشروع جديد من MetaEra يكشف أن مشروع Swiftlet قد قام بتحسين نماذج Qwen3-Next وغيرها من نماذج MoE لأجهزة Mac باستخدام Swift وMetal. من خلال تحميل نواة كثيفة صغيرة فقط في الذاكرة وتدفق أوزان الخبراء من SSD، فإن نموذج Qwen3.6-35B-A3B بدقة 4 بت يحتاج فقط إلى 18 جيجابايت من مساحة القرص و2.6 جيجابايت من ذاكرة ذروة على جهاز M5، مع سرعات تحليل تتراوح بين 7-11 رمز/ثانية. يسلط هذا الخبر على السلسلة الضوء على نشر فعال للنماذج الكبيرة على الأجهزة الاستهلاكية.
ME AI رسالة، يستخدم مشروع Swiftlet Swift + Metal لتشغيل نماذج MoE مثل Qwen3-Next على Mac بحجم صغير جدًا: يتم الاحتفاظ بمحور كثيف صغير فقط في الذاكرة، بينما تُحمَّل أوزان الخبراء من SSD حسب الحاجة. على جهاز Mac M5، تحتل النسخة 4-bit من Qwen3.6-35B-A3B فقط 18GB من مساحة التخزين، مع ذاكرة ذروة قدرها 2.6GB، وسرعة تحليل تصل إلى 7–11 tok/s. (المصدر: MLion)
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.