DeepSeek-V4 kini boleh dijalankan sepenuhnya secara tempatan melalui Unsloth GGUFs Berikut adalah bentuk sebenar tangga kuantisasi: ⁠1-bit: 92GB memori keseluruhan 2-bit: 102GB ⁠3-bit: 110-135GB — berjalan pada Mac dengan memori terpadu 4-bit hampir tanpa kehilangan: 162GB ⁠Q8 tanpa kehilangan: 169GB Beberapa perkara yang perlu difahami mengenai varian Flash secara khusus: •⁠ ⁠284B parameter keseluruhan, tetapi hanya 13B yang aktif pada mana-mana masa — arsitektur MoE bermaksud anda tidak menjalankan model penuh, hanya pakar yang relevan •⁠ ⁠GGUF 8-bit tanpa kehilangan adalah 162GB, tetapi 3-bit turun kepada 103GB tanpa kehilangan kualiti yang bermakna Jalankan melalui Unsloth Studio atau llama.cpp. Panduan dan fail GGUF sudah tersedia di HuggingFace. Model had 1T parameter yang sebelumnya berbayar pada kuartal lepas kini berjalan pada peranti pengguna. Berapa lama lagi sebelum DeepSeek tempatan mengatasi API sederhana yang disewa?