H100 NVIDIA berharga sehingga $40,000. RTX 5090, kadaran permainan, berharga sekitar $2,000. Untuk menjalankan AI secara sebenar, berapa banyak daripada jurang 15x ini adalah nyata? Kurang daripada yang anda sangka, untuk kebanyakan orang. Untuk sebarang beban kerja yang muat dalam 32GB (model sehingga ~13B pada ketepatan penuh, ~32B dikuantisasi), 5090 $2,000 adalah yang terbaik dari segi prestasi per dolar yang boleh anda beli. Ia jauh lebih unggul. Menyesuaikan model kecil? Satu peneraan yang menghabiskan ~$2 elektrik pada 5090 yang anda miliki berharga ~$50 untuk menyewa masa H100 awan yang setara. Kad ini akan balik modal dalam setahun. Tetapi H100 membuktikan nilainya segera apabila anda melintasi tiga garis: - Memori: Model 70B memerlukan ~40GB walaupun pada 4-bit. 32GB 5090 tidak mampu menampungnya. - Kebolehpercayaan: Memori ECC menangkap bit-flip yang merosakkan peneraan 48 jam tanpa disedari. 5090 tidak memilikinya. - Skala: NVLink menghubungkan H100 pada kelajuan 7x PCIe. 5090 tidak mempunyai NVLink langsung. Kesilapan mahal bukanlah memilih kad "lebih buruk". Ia adalah memilih kad yang salah untuk tugas anda: membayar berlebihan untuk H100 yang tidak akan anda gunakan sepenuhnya, atau membeli 5090 terlalu sedikit dan terhenti di dinding yang tidak boleh anda atasi dengan pengkuantisan.