NVIDIA tiết lộ chi phí chi tiết của Blackwell: Giá GPU tăng gấp đôi, chi phí token giảm 35 lần

Tin tức từ AIMPACT, ngày 30 tháng 4 (UTC+8), theo giám sát của Beating, NVIDIA đã đăng bài blog phân tích lựa chọn phần cứng suy luận, với luận điểm cốt lõi: nên đánh giá cơ sở hạ tầng suy luận dựa trên “chi phí mỗi token” thay vì “chi phí mỗi GPU mỗi giờ”. So sánh theo giá GPU, Blackwell đắt hơn; nhưng so sánh theo chi phí token, Blackwell vượt trội hoàn toàn thế hệ trước. Bài blog sử dụng DeepSeek-R1 (mô hình suy luận MoE) làm đối tượng thử nghiệm, so sánh Blackwell (GB300 NVL72) với thế hệ trước là Hopper (HGX H200). Theo giá thuê tham khảo trên thị trường đám mây, Blackwell có chi phí 2,65 USD mỗi GPU mỗi giờ, đắt gần gấp đôi so với 1,41 USD của Hopper, nhưng sản lượng token mỗi giây trên một GPU tăng từ 90 lên 6.000, tức tăng 65 lần về thông lượng, giúp chi phí mỗi triệu token giảm từ 4,20 USD xuống còn 0,12 USD. Sản lượng token mỗi megawatt tăng 50 lần. Cần lưu ý: con số 0,12 USD này được xây dựng trên nền tảng kích hoạt đầy đủ các tối ưu phần mềm như suy luận độ chính xác thấp FP4 và MTP (đa token dự đoán, cho phép mô hình tạo ra nhiều token cùng lúc để tăng tốc độ). Dữ liệu gốc từ SemiAnalysis InferenceX v2 cho thấy, cùng cấu hình GB300 NVL72 chạy DeepSeek-R1, nếu không bật MTP, chi phí mỗi triệu token khoảng 2,35 USD; khi bật MTP, chi phí giảm xuống khoảng 0,11 USD — chỉ riêng tối ưu này đã tạo ra sự khác biệt 21 lần. Tất cả các kết quả trên đều dựa trên thử nghiệm với mô hình duy nhất DeepSeek-R1; các con số sẽ khác nhau tùy theo kiến trúc và quy mô mô hình khác nhau. (Nguồn: BlockBeats)