DeepSeek-V4 тепер може працювати повністю локально за допомогою Unsloth GGUF Ось як виглядає справжня шкала квантування: ⁠1-біт: 92 ГБ загальної пам’яті 2-біт: 102 ГБ ⁠3-біт: 110–135 ГБ — працює на Mac з єдиною пам’яттю 4-біт майже без втрат: 162 ГБ ⁠Q8 без втрат: 169 ГБ Кілька важливих моментів щодо версії Flash: •⁠ ⁠Загальна кількість параметрів — 284 млрд, але на будь-який момент активними є лише 13 млрд — архітектура MoE означає, що ви не запускаєте повну модель, а лише відповідних експертів •⁠ ⁠Версія GGUF з 8-бітним безвтратним квантуванням — 162 ГБ, але 3-бітна версія зменшується до 103 ГБ без значної втрати якості Запустіть її через Unsloth Studio або llama.cpp. Посібник та GGUF-файли вже доступні на HuggingFace. Модель з 1 трлн параметрів, яка раніше була платною, тепер працює на побутовому обладнанні. Скільки часу пройде, перш ніж локальний DeepSeek перевершить хостовані середні API?