NVIDIA、Blackwellのコスト詳細を発表：GPU価格が2倍に、トークンコストは35分の1に

AIMPACT メッセージ、4月30日（UTC+8）、Beating監視によると、NVIDIAはブログで推論ハードウェアの選定を分析し、核心的な主張は次の1文：推論インフラを評価する際には「1GPUあたりの時間コスト」ではなく「1トークンあたりのコスト」を重視すべきである。GPU単価で比較すると、Blackwellは高価だが、トークンコストで比較すると、Blackwellは前世代を圧倒する。ブログでは、テスト対象としてDeepSeek-R1（MoE推論モデル）を用い、Blackwell（GB300 NVL72）と前世代のHopper（HGX H200）を比較した。クラウド市場の賃貸価格を基準にすると、Blackwellの1GPUあたり1時間あたりのコストは2.65ドルで、Hopperの1.41ドルと比べてほぼ2倍高いが、1GPUあたりの秒間トークン生成量は90から6000へと65倍に向上し、このスループットの向上により、100万トークンあたりのコストは4.20ドルから0.12ドルへと低下した。1MWあたりのトークン生成量も50倍に向上した。注意すべき前提：0.12ドルという数値は、FP4低精度推論とMTP（複数トークン予測、モデルが一度に複数のトークンを生成して速度を向上させる）など、複数のソフトウェア最適化をすべて有効化した状態での結果である。SemiAnalysis InferenceX v2のオリジナルデータによると、同じGB300 NVL72でDeepSeek-R1を実行した場合、MTPを無効にすると100万トークンあたりのコストは約2.35ドルだが、有効化すると約0.11ドルまで低下し、この最適化単体で21倍の差が生じる。以上はすべてDeepSeek-R1という単一モデルでのテスト結果であり、異なるモデルアーキテクチャや規模では数値は異なる。（出典：BlockBeats）