SQLite AI تُصدر مُحرك استنتاج WASTE لتشغيل Kimi K3 على MacBook بذاكرة 64GB

iconKuCoinFlash
مشاركة
AI summary iconملخص
أصدرت SQLite AI محرك الاستنتاج WASTE مفتوح المصدر، مما يسمح بتشغيل نموذج Kimi K3 الكامل على جهاز MacBook Pro بذاكرة 64 جيجابايت. يعمل النموذج، الذي تم تحويله إلى 1 تيرابايت، بمعدل 0.49–0.54 رمزًا في الثانية. يحمّل WASTE الخبراء المطلوبين فقط من SSD، مع الاحتفاظ بالهيكل الأساسي بحجم 27 جيجابايت في الذاكرة. يتم إعادة كميزة الأوزان إلى 3 بت و4–8 بت. تُعد هذه الأخبار المتعلقة بالذكاء الاصطناعي والعملات المشفرة خطوة إلى الأمام في أخبار السلسلة من حيث كفاءة النموذج.
ME AI رسالة، وفقًا لمراقبة Beating، أطلقت شركة قاعدة البيانات الحافة SQLite AI محرك الاستدلال المفتوح المصدر WASTE. يسمح هذا المحرك بتشغيل Kimi K3 مع جميع الطبقات والخبراء على جهاز MacBook Pro بسعة 64 جيجابايت. يشغل النموذج المحول حوالي 1 تيرابايت، بسرعة تتراوح بين 0.49 و0.54 رمز في الثانية. يحتفظ WASTE بحوالي 27 جيجابايت من هيكل النموذج في الذاكرة. يتم وضع أكثر من 80 ألف خبير على SSD المدمج. عند توليد كل رمز، يتم قراءة الخبراء المطلوبين حاليًا فقط من القرص الصلب. لا يحتوي هذا الإصدار على تقطيع أو تقليل أو حذف الخبراء. لكن أوزان الخبراء تم إعادة كميّتها إلى 3 بت، بينما يستخدم هيكل النموذج 4 بت و8 بت. (المصدر: MLion)
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.