DeepSeek-V4 अब Unsloth GGUF के माध्यम से पूरी तरह स्थानीय रूप से चलाया जा सकता है यहाँ क्वांटाइजेशन लैडर वास्तव में कैसा दिखता है: ⁠1-बिट: कुल 92GB मेमोरी 2-बिट: 102GB ⁠3-बिट: 110-135GB — यह एक यूनिफाइड मेमोरी वाले मैक पर चलता है 4-बिट निकट-हानिरहित: 162GB ⁠Q8 हानिरहित: 169GB फ्लैश संस्करण के बारे में कुछ महत्वपूर्ण बातें: •⁠ ⁠कुल 284B पैरामीटर, लेकिन किसी भी समय केवल 13B सक्रिय होते हैं — MoE आर्किटेक्चर का मतलब है कि आप पूरा मॉडल नहीं चला रहे हैं, बल्कि केवल प्रासंगिक एक्सपर्ट्स •⁠ ⁠हानिरहित 8-बिट GGUF 162GB है, लेकिन 3-बिट संस्करण केवल 103GB पर आ जाता है बिना किसी महत्वपूर्ण गुणवत्ता क्षति के इसे Unsloth Studio या llama.cpp के माध्यम से चलाएँ। गाइड और GGUF फ़ाइलें HuggingFace पर उपलब्ध हैं। पिछले तिमाही में पेवॉल्ड 1T पैरामीटर फ्रंटियर मॉडल अब उपभोक्ता हार्डवेयर पर चल रहा है। स्थानीय DeepSeek, होस्टेड मध्यम स्तर के API से बेहतर प्रदर्शन करने में कितना समय लेगा?