AIMPACT کا پیغام، 1 مئی (UTC+8)، لائٹ سیک کی فنڈیشن نے حال ہی میں شیپرڈ ماڈل گیٹ وے (SMG) جاری کیا ہے، جو LLM سروسز میں CPU سے زیادہ طاقت لینے والے کاموں کی وجہ سے پیدا ہونے والے پروڈکشن بٹل نیکز کو حل کرنے کے لیے ڈیزائن کیا گیا ہے۔ اس کا ڈیزائن اس بات پر مبنی ہے کہ تمام غیر GPU کاموں کو Rust پر بنائے گئے ایک گیٹ وے میں منتقل کر دیا جائے اور انفرینس پروسیس کے ارد گرد مینیمل gRPC بارڈرز قائم کیے جائیں تاکہ CPU کا انفرینس پاتھ پر بلاکنگ کم ہو اور مجموعی سروس کی کارکردگی بہتر ہو۔ (ذرائع: InFoQ)
لائٹ سیک فاؤنڈیشن نے LLM CPU بٹلنیکس کو کم کرنے کے لیے شیپرڈ ماڈل گیٹ وے کا آغاز کیا ہے
KuCoinFlashبانٹیں
خلاصہ
لائٹ سیک فاؤنڈیشن نے 1 مئی، 2026 (UTC+8) کو LLM سروسز میں CPU بٹل نیک کو حل کرنے کے لیے شیپرڈ ماڈل گیٹ وے (SMG) کا اطلاق کیا۔ یہ حل غیر-GPU کاموں کو رسٹ بنیادی گیٹ وے پر ری ہدایت کرتا ہے اور CPU بلاک کو کم کرنے کے لیے gRPC حدود کو کم کرتا ہے۔ یہ اپ ڈیٹ بلاکچین خبروں میں کرپٹو خبروں کا ایک اہم ترقیاتی نقطہ کے طور پر ظاہر ہوا۔ ڈیزائن LLM انفرنس کے لیے سروس کی کارکردگی بڑھانے پر مرکوز ہے۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔