ChainThink संदेश, 8 अगस्त, विकासक ओपन सोर्स प्रोजेक्ट kimi-k3-in-c के अनुसार, कुछ विकासकों ने केवल 8GB मेमोरी वाले उपकरण पर 2.78 ट्रिलियन पैरामीटर वाले Kimi K3 मॉडल को चलाने का प्रयास किया है।
इस प्रोजेक्ट का आकार लगभग 176KB है, जो केवल C99 में लिखा गया है और GPU, CUDA, PyTorch या BLAS पर निर्भर नहीं करता; मॉडल निष्पादन CPU द्वारा किया जा सकता है।
इसकी कार्यान्वयन Kimi K3 के MoE आर्किटेक्चर का उपयोग करता है, जहां प्रत्येक परत में 896 विशेषज्ञों में से केवल 16 सक्रिय होते हैं, इसलिए लगभग 1.56TB पूर्ण मॉडल वेट्स को मेमोरी में लोड करने की आवश्यकता नहीं होती, बल्कि अधिकांश विशेषज्ञ वेट्स NVMe हार्ड डिस्क पर संग्रहीत किए जाते हैं और निष्कर्षण की आवश्यकता के अनुसार वास्तविक समय में पढ़े जाते हैं।
अभी इस योजना में अभी भी स्पष्ट प्रदर्शन सीमाएँ हैं: 8GB मेमोरी मोड में, एक टोकन बनाने में लगभग 32.7 सेकंड लगते हैं और लगभग 1.7TB हाई-स्पीड स्टोरेज स्पेस की आवश्यकता होती है।
डेवलपर्स के अनुसार, यह योजना महान मॉडल निष्कर्षण बुनियादी ढांचे के अनुकूलन की दिशा में एक प्रयोगात्मक अन्वेषण है और इसका उत्पादन उपयोग के लिए कोई मूल्य नहीं है।