DeepSeek-V4 теперь можно запускать полностью локально через Unsloth GGUF. Вот как выглядит фактическая шкала квантизации: 1-бит: 92 ГБ общей памяти 2-бит: 102 ГБ 3-бит: 110–135 ГБ — работает на Mac с унифицированной памятью 4-бит, почти без потерь: 162 ГБ Q8, без потерь: 169 ГБ Несколько важных моментов, относящихся именно к версии Flash: • Всего 284 млрд параметров, но активно используется только 13 млрд за раз — архитектура MoE означает, что вы не запускаете всю модель целиком, а только соответствующие эксперты • Lossless 8-битный GGUF занимает 162 ГБ, но 3-битная версия снижает объем до 103 ГБ без значительной потери качества Запускайте через Unsloth Studio или llama.cpp. Руководство и файлы GGUF уже доступны на HuggingFace. Модель с 1 трлн параметров, которая была закрыта платным доступом в прошлом квартале, теперь работает на потребительском оборудовании. Сколько времени пройдет, прежде чем локальный DeepSeek превзойдет хостинговые API среднего уровня?