Ang DeepSeek-V4 ay maaari ngayong tumakas nang buo sa lokal gamit ang Unsloth GGUFs Narito ang tunay na anyo ng ladder ng quantization: ⁠1-bit: 92GB kabuuang memorya 2-bit: 102GB ⁠3-bit: 110-135GB — tumatakas sa Mac na may unified memory 4-bit near lossless: 162GB ⁠Q8 lossless: 169GB Ang ilang mga bagay na dapat maintindihan tungkol sa Flash variant partikular: •⁠ ⁠284B kabuuang parameter, ngunit lamang 13B ang aktibo sa anumang oras — ang MoE architecture ay nangangahulugan na hindi mo tinatakasan ang buong model, kundi ang mga relevant na expert •⁠ ⁠Ang lossless 8-bit GGUF ay 162GB, ngunit ang 3-bit ay bumababa sa 103GB nang walang makabuluhang pagkawala ng kalidad Tumakas ito gamit ang Unsloth Studio o llama.cpp. Ang gabay at mga GGUF file ay nasa HuggingFace na. Ang 1T parameter frontier model na nakapagpapautang noong nakaraang kuartal ay nasa pagtatakbo na sa consumer hardware. Gaano kabilis bago masusugpo ng lokal na DeepSeek ang hosted mid-tier APIs?