اب DeepSeek-V4 کو Unsloth GGUF کے ذریعے مکمل طور پر مقامی طور پر چلایا جا سکتا ہے۔ یہاں کوانتائزیشن لیڈر کی اصل شکل ہے: ⁠1-bit: کل 92GB میموری 2-bit: 102GB ⁠3-bit: 110-135GB — یہ میک پر یونیفائیڈ میموری کے ساتھ چلتا ہے 4-bit نیر لاس لیس: 162GB ⁠Q8 لاس لیس: 169GB فلیش ورژن کے بارے میں کچھ اہم باتیں جنہیں سمجھنا ضروری ہے: •⁠ ⁠کل 284B پیرامیٹرز، لیکن صرف 13B ایک وقت میں فعال — MoE آرکٹیکچر کا مطلب ہے کہ آپ مکمل ماڈل نہیں چلا رہے، بلکہ صرف متعلقہ ماہرین چلا رہے ہیں •⁠ ⁠لاس لیس 8-bit GGUF 162GB ہے، لیکن 3-bit صرف 103GB پر آ جاتا ہے اور کوئی معنی خیز کوالٹی کا نقصان نہیں ہوتا اسے Unsloth Studio یا llama.cpp کے ذریعے چلائیں۔ گائیڈ اور GGUF فائلیں HuggingFace پر دستیاب ہیں۔ گزشتہ تین ماہ میں ادا کردہ پرائز والے 1T پیرامیٹرز والا ماڈل اب صارفین کے ہارڈویئر پر چل رہا ہے۔ مقامی DeepSeek، ہوسٹڈ مڈ-ٹائر API سے زیادہ بہتر کب تک پرفارم کرے گا؟