Beating मॉनिटरिंग के अनुसार, एज डेटाबेस कंपनी SQLite AI ने ओपन-सोर्स इन्फरेंस इंजन WASTE लॉन्च किया है। इससे सभी परतों और एक्सपर्ट्स को बरकरार रखते हुए Kimi K3 को एक 64GB MacBook Pro पर चलाया जा सकता है। परिवर्तित मॉडल का आकार लगभग 1TB है, और इसकी गति प्रति सेकंड 0.49 से 0.54 टोकन है। WASTE, लगभग 27GB मॉडल बॉडी को मेमोरी में रखता है। 80,000 से अधिक एक्सपर्ट्स बिल्ट-इन SSD पर स्टोर किए गए हैं। प्रत्येक टोकन जेनरेट करने पर, केवल वर्तमान में कॉल किए गए एक्सपर्ट को हार्ड डिस्क से पढ़ा जाता है। इस संस्करण में कोई डिस्टिलेशन, कटिंग या एक्सपर्ट्स को हटाना नहीं है। हालाँकि, एक्सपर्ट वेट्स को 3-बिट पर पुनः क्वांटाइज़ किया गया है, और मॉडल बॉडी 4-बिट और 8-बिट पर है।
SQLite AI, 64GB MacBook पर Kimi K3 के लिए इन्फरेंस इंजन WASTE को ओपन सोर्स करता है
MarsBitसाझा करें
सारांश
SQLite AI ने अपना इन्फरेंस इंजन WASTE ओपन-सोर्स कर दिया है, जिससे पूरा Kimi K3 मॉडल 64GB MacBook Pro पर चल सकता है। यह ऑन-चेन समाचार AI + क्रिप्टो समाचार में एक प्रमुख कदम है, क्योंकि मॉडल 0.49 से 0.54 टोकन प्रति सेकंड की गति से चलता है। 1TB मॉडल 27GB बैकबोन को मेमोरी में रखता है और आवश्यकता के अनुसार SSD से एक्सपर्ट्स लोड करता है। वेट्स को 3-बिट पर पुनः क्वांटाइज़ किया गया है, जिसमें बैकबोन 4-बिट और 8-बिट का उपयोग करता है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।