NVIDIA H100 có giá lên tới 40.000 USD. RTX 5090, một card chơi game, có giá khoảng 2.000 USD. Đối với việc chạy AI thực tế, khoảng cách 15 lần đó có thực sự lớn đến vậy không? Ít hơn bạn nghĩ, với hầu hết mọi người. Với bất kỳ tác vụ nào phù hợp trong 32GB (các mô hình lên tới ~13B ở độ chính xác đầy đủ, ~32B đã lượng tử hóa), card 5090 giá 2.000 USD là lựa chọn hiệu suất trên đồng tiền tốt nhất bạn có thể mua. Nó không hề gần bằng. Tinh chỉnh một mô hình nhỏ? Một lần chạy tốn khoảng $2 điện năng trên card 5090 bạn sở hữu sẽ tốn khoảng $50 để thuê thời gian H100 tương đương trên đám mây. Card này sẽ tự bù lại chi phí trong vòng một năm. Nhưng H100 xứng đáng với giá tiền của nó ngay khi bạn vượt qua ba ranh giới sau: - Bộ nhớ: Một mô hình 70B cần ~40GB ngay cả ở chế độ 4-bit. 32GB của 5090 không thể chứa được. - Độ tin cậy: Bộ nhớ ECC phát hiện các lỗi đảo bit làm hỏng âm thầm một quá trình huấn luyện kéo dài 48 giờ. 5090 không có chức năng này. - Quy mô: NVLink kết nối các H100 với tốc độ nhanh gấp 7 lần PCIe. 5090 hoàn toàn không có NVLink. Sai lầm đắt đỏ không phải là chọn card “kém” hơn. Mà là chọn sai card cho công việc của bạn: trả quá nhiều tiền cho H100 mà bạn sẽ không bao giờ sử dụng hết, hoặc mua quá ít 5090 và gặp phải giới hạn mà bạn không thể vượt qua bằng cách lượng tử hóa.