AIMPACT संदेश, 1 मई (UTC+8), लाइटसीक फाउंडेशन ने हाल ही में Shepherd मॉडल गेटवे (SMG) लॉन्च किया है, जो LLM सेवाओं में CPU-संकट वाले कार्यों के कारण होने वाले उत्पादन बॉटलनेक को हल करने के लिए डिज़ाइन किया गया है। इसका डिज़ाइन विचार यह है कि सभी गैर-GPU कार्यों को Rust पर आधारित गेटवे में स्थानांतरित किया जाए और निष्पादन प्रक्रिया के चारों ओर gRPC सीमाओं को न्यूनतम किया जाए, ताकि CPU का निष्पादन पथ पर प्रतिबंध कम हो और समग्र सेवा कुशलता में सुधार हो। (स्रोत: InFoQ)
लाइटसीक फाउंडेशन ने LLM CPU बॉटलनेक्स को कम करने के लिए शेफर्ड मॉडल गेटवे की शुरुआत की है
KuCoinFlashसाझा करें
सारांश
लाइटसीक फाउंडेशन ने 1 मई, 2026 (UTC+8) को LLM सेवाओं में CPU बॉटलनेक को दूर करने के लिए शेपर्ड मॉडल गेटवे (SMG) की शुरुआत की। यह समाधान गैर-GPU कार्यों को रस्ट-आधारित गेटवे पर रूट करता है और CPU ब्लॉकिंग को कम करने के लिए gRPC सीमाओं को कम करता है। यह अपडेट ऑन-चेन समाचार में क्रिप्टो समाचार में एक प्रमुख विकास के रूप में प्रकट हुआ। इस डिज़ाइन का उद्देश्य LLM निष्पादन के लिए सेवा की दक्षता में वृद्धि करना है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।