سیریبراس نے لمبے متن کے کاموں میں 29 گنا تیزی کے ساتھ کیمی K2.6 ماڈل کا امتحان کیا

iconKuCoinFlash
بانٹیں
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconخلاصہ

expand icon
20 مئی (UTC+8) کو سیریبراس نے اعلان کیا کہ اس نے اپنے ویفر سکیل چپس کا استعمال کرتے ہوئے ٹریلین پیرامیٹر کیمی K2.6 ماڈل کا ٹیسٹ کیا ہے۔ فرم نے چپس کو براہ راست ایک مکمل 12 انش کے ویفر پر لگا کر مواصلات کے تاخیرات کو کم کیا۔ آرٹیفیشل اینالیسس کے مطابق، ماڈل نے 981 ٹوکن/سیکنڈ کی رفتار سے متن تخلیق کیا، جو معیاری جی پی یو سروسز سے 6.7 گنا تیز ہے۔ 10,000 ان پٹ اور 500 آؤٹ پٹ ٹوکن والے لمبے متن کے ٹیسٹ میں، جواب کا وقت 163.7 سیکنڈ سے گھٹ کر 5.6 سیکنڈ رہ گیا، جو 29 گنا بہتری ہے۔ آن چین ڈیٹا اے آئی انفراسٹرکچر میں پرفارمنس میں بہتری کو برقرار رکھ رہا ہے۔

ME نیوز کے مطابق، 20 مئی (UTC+8) کو، اینالیسس Beating کی نگرانی کے مطابق، ویفر لیول چپ کمپنی Cerebras نے اپنے کاروباری ٹیسٹ میں ٹریلین پیرامیٹرز والے بڑے ماڈل Kimi K2.6 کو لانچ کر دیا ہے، جس نے 12 انش کے سلیکون ویفر پر چپ کو براہ راست اندراج کرکے روایتی بورڈ لیول کمیونیکیشن کی لنک لیٹنس کو مکمل طور پر ختم کر دیا ہے۔ تھرڈ پارٹی جائزہ لینے والی ادارہ Artificial Analysis کے عملی جائزے کے مطابق، اس کی پیداواری رفتار 981 ٹوکنز/سیکنڈ تک پہنچ گئی، جو مقبول GPU کلاؤڈ سروسز سے 6.7 گنا تیز ہے۔ 10,000 ان پٹ، 500 آؤٹ پٹ ٹوکنز والے لمبے متن کے کام میں، مجموعی ریسپانس ٹائم Kimi کے آفیشل انٹرفیس کے 163.7 سیکنڈ سے گھٹ کر صرف 5.6 سیکنڈ رہ گیا، جس سے تیزی 29 گنا بڑھ گئی۔ چونکہ ماڈل وزن کو متعدد ویفرز میں تقسیم کرکے اکٹو اقدار کو سٹریمنگ کیا جاتا ہے، اور لیرز کے درمیان کمیونیکیشن مکمل طور پر ویفر کے اندر نیٹ ورک ویف پر چل رہا ہے، اس لئے اس کا فزیکل کمیونیکیشن بینڈ ودتھ NVidia NVL72 آرکٹیکچر میں NVLink سے زائد 200 گنا ہے۔ ڈسٹریبیوٹڈ کمپوٹنگ آپٹمائزیشن کے ساتھ، Kimi K2.6 اصل 4-bit (4 بٹ) وزن کا استعمال کرتا ہے تاکہ کم نقصان والی ذخیرہ سازی حاصل کی جا سکے، حساب کتاب کے دوران 16-bit (16 بٹ) فلوٹنگ پوائنٹ استعمال کرتا ہے تاکہ درستگی برقرار رہے، اور مخصوص آپریٹر کرنلز اور سپکولیٹو ڈیکوڈنگ کا استعمال کرتا ہے تاکہ رئل ٹائم رننگ حاصل کی جا سکے۔ (ذرائع: BlockBeats)

اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔