Pesan AIMPACT, 30 April (UTC+8), menurut pemantauan Beating, NVIDIA merilis blog yang membahas pemilihan perangkat keras inferensi, dengan argumen intinya: evaluasi infrastruktur inferensi harus melihat "biaya per token" bukan "biaya per GPU per jam". Dalam perbandingan harga GPU, Blackwell lebih mahal; namun dalam perbandingan biaya per token, Blackwell jauh mengungguli generasi sebelumnya. Blog ini menggunakan DeepSeek-R1 (model inferensi MoE) sebagai objek uji, membandingkan Blackwell (GB300 NVL72) dengan generasi sebelumnya Hopper (HGX H200). Berdasarkan harga sewa pasar cloud, Blackwell berharga $2,65 per GPU per jam, hampir dua kali lebih mahal dibanding Hopper yang seharga $1,41, tetapi output token per GPU per detik meningkat dari 90 menjadi 6.000, meningkatkan throughput sebesar 65 kali. Dengan pembagian biaya, biaya per juta token turun dari $4,20 menjadi $0,12. Produksi token per megawatt meningkat 50 kali. Perlu diperhatikan: angka $0,12 ini didasarkan pada asumsi semua optimasi perangkat lunak seperti inferensi presisi rendah FP4 dan MTP (multi-token prediction, yang memungkinkan model menghasilkan beberapa token sekaligus untuk mempercepat proses) telah diaktifkan. Data asli SemiAnalysis InferenceX v2 menunjukkan bahwa pada GB300 NVL72 yang sama menjalankan DeepSeek-R1, tanpa MTP biaya per juta token sekitar $2,35, sedangkan dengan MTP turun menjadi sekitar $0,11—optimasi ini saja menciptakan perbedaan 21 kali lipat. Semua hasil di atas merupakan hasil uji coba untuk model tunggal DeepSeek-R1; angka-angka ini akan berbeda tergantung pada arsitektur dan ukuran model lainnya. (Sumber: BlockBeats)
NVIDIA Mengungkap Detail Biaya Blackwell: Harga GPU Melipat Ganda, Biaya Token Turun 35x
KuCoinFlashBagikan
Ringkasan
Harga GPU Blackwell NVIDIA hampir dua kali lipat dari model Hopper, tetapi biaya per token turun 35 kali. Dengan tarif cloud sebesar $2,65 per jam, Blackwell menghasilkan 6.000 token per detik, dibandingkan 90 untuk Hopper. Ini menurunkan biaya per juta token menjadi $0,12 dari $4,20. Analisis harga menunjukkan bahwa peningkatan perangkat lunak seperti FP4 dan MTP mendorong efisiensi. Tren harga kripto mungkin mencerminkan pergeseran perangkat keras semacam ini.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.