SQLite AI نے WASTE انفرینس انجن کو اوپن سورس کر دیا ہے تاکہ 64GB MacBook پر Kimi K3 چلایا جا سکے

iconKuCoinFlash
بانٹیں
AI summary iconخلاصہ
SQLite AI نے اپنا WASTE انفرنس انجن اوپن سورس کر دیا ہے، جس سے مکمل Kimi K3 ماڈل 64GB MacBook Pro پر چل سکتا ہے۔ ماڈل، جسے 1TB پر تبدیل کیا گیا ہے، 0.49–0.54 ٹوکن فی سیکنڈ کی رفتار سے چلتا ہے۔ WASTE صرف SSD سے ضروری ایکسپرٹس لوڈ کرتا ہے، جبکہ 27GB بیک بون میموری میں رکھتا ہے۔ وزن کو 3-بٹ اور 4–8-بٹ پر دوبارہ کوانتائز کیا گیا ہے۔ یہ AI + کرپٹو خبر ماڈل کی کارکردگی کے لیے آن-چین خبروں میں ایک قدم آگے کا نشان ہے۔
ME AI کی خبر، Beating مانیٹرنگ کے مطابق، ایج ڈیٹا بیس کمپنی SQLite AI نے اوپن سورس انفرنس انجن WASTE جاری کیا ہے۔ اس سے Kimi K3 کے تمام لیئرز اور اسپیشلسٹس کو ایک 64GB MacBook Pro پر چلایا جا سکتا ہے۔ تبدیل شدہ ماڈل تقریباً 1TB کا ہے اور رفتار 0.49 سے 0.54 ٹوکن فی سیکنڈ ہے۔ WASTE تقریباً 27GB ماڈل کور کو میموری میں رکھتا ہے۔ 80,000 سے زائد اسپیشلسٹس ان بیلٹ SSD پر رکھے گئے ہیں۔ ہر ٹوکن بنانے پر، صرف موجودہ طلب شدہ اسپیشلسٹ کو ہارڈ ڈرائیو سے پڑھا جاتا ہے۔ اس ورژن میں کوئی ڈسٹلیشن، کٹنگ یا اسپیشلسٹس کا حذف نہیں ہوا۔ لیکن اسپیشلسٹ وزن کو 3-بٹ پر دوبارہ کوانتائز کیا گیا ہے، جبکہ ماڈل کور کو 4-بٹ اور 8-بٹ پر استعمال کیا گیا ہے۔ (ذرائع: MLion)
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔