मार्स कैपिटल की समाचार रिपोर्ट के अनुसार, 8 अगस्त को, एक डेवलपर ने हाल ही में kimi-k3-in-c नामक ओपन सोर्स प्रोजेक्ट शुरू किया है, जिसका उद्देश्य 2.78 ट्रिलियन पैरामीटर वाले Kimi K3 मॉडल को केवल 8GB रैम वाले डिवाइस पर चलाना है। यह प्रोजेक्ट केवल 176KB का है, जो शुद्ध C99 में लिखा गया है और GPU, CUDA, PyTorch या BLAS के किसी भी निर्भरता के बिना केवल CPU के माध्यम से मॉडल इन्फरेंस पूरा करता है। इस समाधान में Kimi K3 के MoE (मिक्स्ड एक्सपर्ट) आर्किटेक्चर के गुणों का उपयोग किया गया है। हालाँकि मॉडल के कुल पैरामीटर 2.78T हैं, लेकिन प्रत्येक परत में 896 एक्सपर्ट्स में से केवल 16 सक्रिय होते हैं, इसलिए डेवलपर्स ने 1.56TB के पूरे मॉडल वेट्स को मेमोरी में लोड नहीं किया, बल्कि अधिकांश एक्सपर्ट वेट्स को NVMe हार्ड ड्राइव पर संग्रहीत किया है और इन्फरेंस की मांग के आधार पर रीयल-टाइम में पढ़ा जाता है; साथ ही, कुछ घने परतों (dense trunk) को भी प्रति-परत स्ट्रीमिंग लोडिंग के माध्यम से संचालित किया जाता है। हालाँकि, इस समाधान में अभी भी स्पष्ट प्रदर्शन सीमाएँ मौजूद हैं। 8GB रैम मोड में, मॉडल एक token उत्पन्न करने में लगभग 32.7 सेकंड का समय लेता है, और इसके लिए 1.7TB की हाई-स्पीड स्टोरेज स्पेस की आवश्यकता होती है। डेवलपर का कहना है कि यह समाधान वर्तमान में महान मॉडल इन्फरेंस इंफ्रास्ट्रक्चर के अनुकूलन की दिशा में एक प्रयोगात्मक अन्वेषण के समान है, और इसका वास्तविक उत्पादन उपयोग के लिए कोई मूल्य नहीं है, लेकिन 'हार्डड्राइव स्ट्रीमिंग लोडिंग + MoE स्पार्स एक्टिवेशन' के माध्यम से, भविष्य में कम लागत परअति-विशाल मॉडल्स को चलाने के लिए एक नया मार्ग प्रदान करता है।
डेवलपर 8GB RAM पर 2.78T पैरामीटर किमी K3 चलाने के लिए ओपन सोर्स C इंजन जारी करता है
MarsBitसाझा करें
सारांश
एक डेवलपर ने kimi-k3-in-c शीर्षक के साथ एक प्रोजेक्ट घोषणा जारी की, जिससे 2.78 ट्रिलियन पैरामीटर वाले Kimi K3 मॉडल को 8GB RAM पर चलाया जा सकता है। 176KB C99 प्रोजेक्ट केवल CPU आधारित निष्पादन का उपयोग करता है, प्रत्येक परत में 896 विशेषज्ञों में से 16 को सक्रिय करता है। यह NVMe स्टोरेज से वजन को आवश्यकता पड़ने पर लोड करता है, लेकिन प्रति टोकन 32.7 सेकंड और 1.7TB तेज स्टोरेज की आवश्यकता होती है। डेवलपर ने इसे ऑन-चेन समाचार-योग्य प्रयोग कहा है, जो अभी उत्पादन के लिए तैयार नहीं है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।