Hầu hết mọi người cho rằng các mô hình lớn nhất cần nhiều VRAM nhất! Thực tế, với AirLLM, Kimi K3 – một mô hình 2,8 nghìn tỷ tham số – lại cần ít VRAM hơn một mô hình dày đặc 70B. Lý do là K3 là mô hình sparse mixture-of-experts, nên AirLLM chỉ truyền các chuyên gia cụ thể mà token thực sự chuyển đến, thay vì tải toàn bộ lớp dày đặc. Kết hợp với việc chỉ tải một lớp lên GPU tại một thời điểm. Đó là cách DeepSeek-V3 (671B) vừa vặn trong 12GB và mô hình 2,8 nghìn tỷ tham số vừa vặn trong dưới 4GB, mà không cần lượng tử hóa, không cần tinh giản và không cần cắt tỉa. Đánh dấu để không mất nó! Repo: https://t.co/dO2TABPfqr Theo dõi @neil_xbt để biết thêm!