Beating مانیٹرنگ کے مطابق، ایج ڈیٹا بیس کمپنی SQLite AI نے اوپن سورس انفرنس انجن WASTE جاری کیا ہے۔ اس سے Kimi K3 کے تمام لیئرز اور اسپیشلسٹس کو ایک 64GB MacBook Pro پر چلایا جا سکتا ہے۔ تبدیل شدہ ماڈل تقریباً 1TB کا ہے اور فی سیکنڈ 0.49 سے 0.54 ٹوکن کی رفتار سے کام کرتا ہے۔ WASTE تقریباً 27GB ماڈل باڈی کو میموری میں رکھتا ہے۔ 80,000 سے زائد اسپیشلسٹس اندر کے SSD پر رکھے گئے ہیں۔ ہر ٹوکن بنانے پر، صرف موجودہ طلب شدہ اسپیشلسٹ کو ہارڈ ڈرائیو سے پڑھا جاتا ہے۔ اس ورژن میں کوئی ڈسٹلیشن، کٹنگ یا اسپیشلسٹس کا حذف نہیں کیا گیا۔ لیکن اسپیشلسٹ وزن کو 3-بٹ تک ری-کوانٹائز کر دیا گیا ہے، جبکہ ماڈل باڈی کو 4-بٹ اور 8-بٹ پر استعمال کیا گیا ہے۔
SQLite AI نے Kimi K3 کے لیے 64GB MacBook پر انفرینس انجن WASTE کو اوپن سورس کر دیا ہے
MarsBitبانٹیں
خلاصہ
SQLite AI نے اپنا انفرنس انجن WASTE اوپن سورس کر دیا ہے، جس سے مکمل Kimi K3 ماڈل 64GB MacBook Pro پر چل سکتا ہے۔ یہ آن چین خبر AI + کرپٹو خبروں میں ایک بڑا قدم ہے، کیونکہ ماڈل 0.49 سے 0.54 ٹوکن فی سیکنڈ کی رفتار سے چل رہا ہے۔ 1TB ماڈل 27GB بیک بون کو میموری میں رکھتا ہے اور ضرورت پڑنے پر SSD سے ایکسپرٹس لوڈ کرتا ہے۔ وزن کو 3-بٹ پر ری-کوانٹائز کیا گیا ہے، جبکہ بیک بون 4-بٹ اور 8-بٹ استعمال کرتا ہے۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔