SQLite AI ने Kimi K3 को 64GB MacBook पर चलाने के लिए WASTE इन्फरेंस इंजन को ओपन सोर्स कर दिया है

iconKuCoinFlash
साझा करें
AI summary iconसारांश
SQLite AI ने अपना WASTE इन्फरेंस इंजन ओपन-सोर्स कर दिया है, जिससे पूरा Kimi K3 मॉडल 64GB MacBook Pro पर चल सकता है। 1TB में बदले गए इस मॉडल की गति 0.49–0.54 टोकन प्रति सेकंड है। WASTE, SSD से केवल आवश्यक एक्सपर्ट्स लोड करता है, जबकि 27GB का बैकबोन मेमोरी में रहता है। वेट्स को 3-बिट और 4–8-बिट में पुनः क्वांटाइज़ किया गया है। यह AI + क्रिप्टो समाचार, मॉडल की दक्षता के संदर्भ में ऑन-चेन समाचार के लिए एक कदम आगे की ओर है।
ME AI संदेश, डैशबोर्ड Beating मॉनिटरिंग के अनुसार, एज डेटाबेस कंपनी SQLite AI ने ओपन-सोर्स इन्फरेंस इंजन WASTE लॉन्च किया है। इससे सभी परतों और एक्सपर्ट्स को बरकरार रखते हुए Kimi K3 को एक 64GB MacBook Pro पर चलाया जा सकता है। परिवर्तित मॉडल का आकार लगभग 1TB है, और इसकी गति प्रति सेकंड 0.49 से 0.54 Token है। WASTE लगभग 27GB मॉडल बॉडी को मेमोरी में रखता है। 80,000 से अधिक एक्सपर्ट्स बिल्ट-इन SSD पर स्थित हैं। प्रत्येक Token जनरेट करने पर, केवल वर्तमान में कॉल किए गए एक्सपर्ट को हार्ड डिस्क से पढ़ा जाता है। इस संस्करण में कोई डिस्टिलेशन, कटिंग या एक्सपर्ट्स हटाने की प्रक्रिया नहीं है। हालाँकि, एक्सपर्ट वेट्स को 3-बिट पर पुनः क्वांटाइज़ किया गया है, और मॉडल बॉडी 4-बिट और 8-बिट पर है। (स्रोत: MLion)
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा। डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।