NVIDIAのH100は最大4万ドルかかる。一方、ゲーム用GPUであるRTX 5090は約2,000ドルだ。 実際にAIを実行する場合、この15倍の価格差のうち、どれほどが現実的なものなのか？ ほとんどの人にとっては、予想よりずっと少ない。 32GB以内に収まるワークロード（フル精度で約13Bまでのモデル、量子化済みで約32Bまで）には、2,000ドルの5090が価格対性能比で最適だ。他に比べものにならない。小さなモデルのファインチューニングなら、自身の5090で消費する電気代約2ドルの実行を、同等のクラウドH100をレンタルすると約50ドルかかる。このGPUは1年以内に元を取れる。 しかし、H100は以下の3つの条件を満たす瞬間からその価格に見合う価値を発揮する： - メモリ：70Bモデルは4ビットでも約40GB必要。5090の32GBでは保持できない。 - 可靠性：ECCメモリは、48時間のトレーニングを静かに破壊するビットフリップを検出する。5090にはECCがない。 - スケーリング：NVLinkはH100同士をPCIeの7倍速度で接続する。5090にはNVLinkは一切ない。 高価な失敗とは、「劣った」カードを選ぶことではない。自分の用途に合わないカードを選ぶことだ——使わないH100に過剰に支払うか、5090を過小評価して量子化では回避できない壁に突き当たることだ。