DeepSeek-V4 hiện có thể chạy hoàn toàn cục bộ thông qua Unsloth GGUFs Đây là cách thang phân lượng thực sự trông như thế nào: ⁠1-bit: 92GB tổng bộ nhớ 2-bit: 102GB ⁠3-bit: 110-135GB — chạy được trên Mac với bộ nhớ thống nhất 4-bit gần không mất mát: 162GB ⁠Q8 không mất mát: 169GB Một vài điểm cần hiểu rõ về phiên bản Flash cụ thể: •⁠ ⁠Tổng cộng 284B tham số, nhưng chỉ 13B hoạt động cùng lúc — kiến trúc MoE nghĩa là bạn không chạy toàn bộ mô hình, mà chỉ các chuyên gia liên quan •⁠ ⁠GGUF 8-bit không mất mát là 162GB, nhưng 3-bit giảm xuống còn 103GB mà không có sự suy giảm chất lượng đáng kể Chạy nó qua Unsloth Studio hoặc llama.cpp. Hướng dẫn và các tệp GGUF đã có sẵn trên HuggingFace. Mô hình ranh giới 1T tham số từng bị khóa trả phí vào quý trước giờ đã chạy được trên phần cứng người dùng. Bao lâu nữa thì DeepSeek cục bộ sẽ vượt trội hơn các API trung cấp được lưu trữ?