DeepSeek-V4, artık Unsloth GGUF aracılığıyla tamamen yerel olarak çalıştırılabiliyor. Kantizasyon basamaklarının gerçek görünümü şudur: 1-bit: Toplam 92 GB bellek 2-bit: 102 GB 3-bit: 110-135 GB — birleşik bellekli bir Mac'te çalışır 4-bit neredeyse kayıpsız: 162 GB Q8 kayıpsız: 169 GB Özellikle Flash varyantı hakkında anlaşılmasını değerli bulunan birkaç nokta: • Toplam 284 milyar parametre, ancak herhangi bir anda yalnızca 13 milyar aktif — MoE mimarisi, tam modeli değil, ilgili uzmanları çalıştırmanız anlamına gelir • Kayıpsız 8-bit GGUF 162 GB, ancak 3-bit ile kalite kaybı olmadan 103 GB'a düşüyor Unsloth Studio veya llama.cpp aracılığıyla çalıştırın. Rehber ve GGUF dosyaları HuggingFace'de mevcut. Geçen çeyrekte ücretli olan 1 trilyon parametreli frontier modeli artık tüketici donanımlarında çalışıyor. Yerel DeepSeek'in, barındırılmış orta seviye API'leri ne zaman geçecektir?