Sebagian besar orang membaca jajaran GPU NVIDIA sebagai garis lurus: H100 cepat, H200 lebih cepat, B200 paling cepat. Beli yang terbaru yang mampu Anda beli.
Itu salah satu kesalahan paling mahal dalam infrastruktur AI.
Ketiga chip ini tidak mengatasi bottleneck yang sama dengan lebih keras. Mereka mengatasi tiga bottleneck berbeda:
H100 adalah pekerja utama. 80GB, komputasi kuat. Batasnya bukan matematika, tapi kapasitas. 80GB.
H200 BUKAN chip baru. Die komputasi yang sama dengan H100. FLOPS identik. NVIDIA hanya mengganti memori: 141GB dan bandwidth 43% lebih tinggi. Mengapa? Karena inferensi dibatasi oleh bandwidth memori, bukan komputasi. Hasilnya: sekitar 40% lebih cepat dalam pelayanan tanpa tambahan daya sama sekali.
B200 adalah lompatan sejati. Arsitektur baru, dual-die, 192GB, bandwidth 2,4x lebih tinggi, FP4 native, 1.000W. Sekitar 2 hingga 2,5x lebih cepat dari H100. Tapi ini kelas mesin yang berbeda: papan dasar baru, pendinginan baru, antrian hingga pertengahan 2026.
Aturan yang menghemat uang: pilih berdasarkan bottleneck, bukan generasi. Apakah model muat (kapasitas)? Apakah decode kekurangan bandwidth? Apakah Anda benar-benar membutuhkan lebih banyak komputasi? Beli chip yang mengatasi dinding pertama yang Anda temui.
Sebagian besar penyesalan GPU adalah membayar untuk komputasi puncak padahal beban kerja sepanjang waktu dibatasi oleh memori.
#AI #GPU #AIModels