स्विफ्लेट 80B Qwen मॉडल को 4.3GB शीर्ष स्मृति के साथ मैक पर चलाने के लिए संकुचित करता है
KuCoinFlashसाझा करें
सारांश
मेटाएरा से एक नया प्रोजेक्ट घोषणा में, स्विफ्टलेट प्रोजेक्ट ने स्विफ्ट और मेटल का उपयोग करके Mac के लिए Qwen3-Next और अन्य MoE मॉडल को अनुकूलित किया है। केवल एक छोटा घना कोर मेमोरी में लोड करके और SSD से एक्सपर्ट वजन स्ट्रीम करके, 4-बिट Qwen3.6-35B-A3B मॉडल को M5 Mac पर केवल 18GB डिस्क स्पेस और 2.6GB शीर्ष मेमोरी की आवश्यकता होती है, जिसकी डिकोडिंग गति 7–11 tok/s है। यह ऑन-चेन समाचार उपभोक्ता हार्डवेयर पर बड़े मॉडल के कुशल प्रसारण को दर्शाता है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।