H100 dari NVIDIA harganya hingga $40.000. RTX 5090, kartu gaming, harganya sekitar $2.000. Untuk menjalankan AI secara nyata, seberapa besar dari selisih 15x itu nyata? Lebih sedikit dari yang Anda kira, bagi kebanyakan orang. Untuk setiap beban kerja yang muat dalam 32GB (model hingga ~13B pada presisi penuh, ~32B terkuantisasi), 5090 seharga $2.000 adalah yang terbaik dalam hal kinerja per dolar yang bisa Anda beli. Tidak ada yang mendekati. Menyesuaikan model kecil? Proses yang menghabiskan listrik sekitar $2 pada 5090 yang Anda miliki, biayanya sekitar $50 jika menyewa waktu H100 cloud yang setara. Kartu ini akan balik modal dalam satu tahun. Namun, H100 membayar harganya segera saat Anda melewati tiga batas ini: - Memori: Model 70B membutuhkan ~40GB bahkan pada 4-bit. 32GB pada 5090 tidak mampu menampungnya. - Keandalan: Memori ECC menangkap bit-flip yang merusak proses pelatihan 48 jam tanpa terdeteksi. 5090 tidak memiliki fitur ini. - Skala: NVLink menghubungkan H100 dengan kecepatan 7x lebih cepat daripada PCIe. 5090 sama sekali tidak memiliki NVLink. Kesalahan mahal bukanlah memilih kartu yang "lebih buruk". Melainkan memilih kartu yang salah untuk pekerjaan Anda: membayar berlebihan untuk H100 yang tidak akan pernah Anda gunakan sepenuhnya, atau membeli 5090 terlalu sedikit dan menabrak batas yang tidak bisa diatasi dengan kuantisasi.