多くの人々はNVIDIAのGPUラインナップを単純な線形と見なす：H100は速く、H200はさらに速く、B200が最速。手の届く範囲で最新のものを購入すればよいと考える。 これはAIインフラにおいて最も高価なミスの一つだ。 この3つのチップは、同じボトルネックをより強く乗り越えるのではなく、3つの異なるボトルネックを解決している： H100は汎用機。80GBのメモリ、強力な計算能力。その上限は計算ではなく、容量——80GBだ。 H200は新チップではない。H100と同じ計算ダイを使用し、FLOPSも同じ。NVIDIAが変更したのはメモリのみ：141GBに拡大し、帯域幅は43%増加。なぜか？推論は計算能力ではなく、メモリ帯域幅にボトルネックを抱えているからだ。その結果：追加の電力消費なしに、約40%高速なサービス提供が可能になる。 B200が真の飛躍だ。新アーキテクチャ、デュアルダイ、192GBメモリ、帯域幅は2.4倍、ネイティブFP4対応、消費電力1,000W。H100の約2～2.5倍の性能を発揮する。しかし、これは別のクラスのマシンだ：新しい基板、新しい冷却システムが必要で、納期は2026年半ばまで遅延している。 お金を節約するルール：世代ではなく、ボトルネックに応じて選ぶこと。モデルはメモリ容量に収まるか？デコードが帯域幅不足に苦しんでいるか？本当に計算能力が必要なのか？最初にぶつかる壁を乗り越えるチップを購入せよ。 GPUへの後悔の多くは、ワークロードが常にメモリ制約だったにもかかわらず、最高レベルの計算能力に支払ったことだ。 #AI #GPU #AIModels