

2026年には、同じH100グラフィックスカードの1時間あたりのコストが$0.80から$4.20まで変動する。同じカード、同じパフォーマンス。変わるのは、それをどこで動かすかだけだ。 4つの選択肢がある。オンデマンドクラウドがデフォルトで最も高価で、1時間あたり約$3~$4かかり、ハードウェアがアイドル状態の時間でもそのプレミアムを支払う必要がある。専門のGPUクラウドでは、同じカードを約$1.49~$3.00でレンタルできる。GPUホスティングは、約束された期間に専用の容量を確保でき、使わない柔軟性の代金を支払わないので安くなる。購入してコロケーションする方法が、1時間あたり最も安価で、ハイパースケーラークラウドより通常40~60%安くなり、損益分岐点は6~18ヶ月程度だ。 ルールはシンプルだ。1年以上安定して高負荷で運用するなら、所有しよう。需要が急増したり、まだ実験段階なら、レンタルしよう。誰に何を言われても、この選択を変えるな。 多くの人が見落としているのは、本当のボトルネックはチップではなく電力だ。通常のラックは約5kWを処理できるが、現代のAIラックは液体冷却を伴う場合、100kW以上を必要とする。多くの施設では、これに対応できない。ビットコインマイナーたちは10年かけてまさにこのような容量を構築してきた。だからこそ、同じ建物が今ではAIの運用に使われているのだ。

現在のテクノロジー業界で最も価値のある不動産は、シリコンバレーではない。発電所の隣にある倉庫だ。 ほとんど誰も予想しなかった変化が起きている:BitcoinマイニングとAIは、同じビジネスとなった。 ビジネス用語を取り除けば、BitcoinマイナーとAI用GPUは、同じものである。電力を消費し、熱を発生させる、24時間365日フル稼働する専用チップだ。B200は約1,000Wを消費し、複数台をラックに配置すると100kW以上を消費し、液体冷却が必要になる。企業がAIを拡張する上で最も大きな障壁は、チップではなく、電力とその電力を支えるための施設である。 では、過去10年間、安価な電力を確保し、メガワット級の冷却設備を構築し、熱を発生させるチップが満載の倉庫を休むことなく稼働させてきたのは誰か? Bitcoinマイナーだ。彼らは、AIが今まさに切望しているインフラを構築してきた。 それが、最大の上場マイナーが施設をAI向けに転換している理由であり、マイニング農場とAIデータセンターの境界がほぼ消えている理由でもある。同じ建物で、マイニングが利益を生むときはマイニングを、AIが利益を生むときはAIをホスティングするオペレーターがいる。 この変化がエキサイティングなのは、マイニングを置き換えるのではなく、併存させることで、これまで以上に多くの可能性を開くからだ。ホスティング、規制された農場、水力、クラウドを通じてBitcoinをマイニングできる。ハードウェアとデータセンターの容量を通じてAIに電力を供給できる。あるいは両方を同時に実行できる。 正直な話、どちらも無料のお金ではない。どちらも安価な電力と効率的なハードウェアをフル稼働させることで成り立つ。コミットする前にモデルを検討せよ。 Bitcoinマイナーが10年かけて構築したインフラは、未来を動かすインフラであることが明らかになった。

NVIDIAのH100は最大4万ドルかかる。一方、ゲーム用GPUであるRTX 5090は約2,000ドルだ。 実際にAIを実行する場合、この15倍の価格差のうち、どれほどが現実的なものなのか? ほとんどの人にとっては、予想よりずっと少ない。 32GB以内に収まるワークロード(フル精度で約13Bまでのモデル、量子化済みで約32Bまで)には、2,000ドルの5090が価格対性能比で最適だ。他に比べものにならない。小さなモデルのファインチューニングなら、自身の5090で消費する電気代約2ドルの実行を、同等のクラウドH100をレンタルすると約50ドルかかる。このGPUは1年以内に元を取れる。 しかし、H100は以下の3つの条件を満たす瞬間からその価格に見合う価値を発揮する: - メモリ:70Bモデルは4ビットでも約40GB必要。5090の32GBでは保持できない。 - 可靠性:ECCメモリは、48時間のトレーニングを静かに破壊するビットフリップを検出する。5090にはECCがない。 - スケーリング:NVLinkはH100同士をPCIeの7倍速度で接続する。5090にはNVLinkは一切ない。 高価な失敗とは、「劣った」カードを選ぶことではない。自分の用途に合わないカードを選ぶことだ——使わないH100に過剰に支払うか、5090を過小評価して量子化では回避できない壁に突き当たることだ。

多くの人々はNVIDIAのGPUラインナップを単純な線形と見なす:H100は速く、H200はさらに速く、B200が最速。手の届く範囲で最新のものを購入すればよいと考える。 これはAIインフラにおいて最も高価なミスの一つだ。 この3つのチップは、同じボトルネックをより強く乗り越えるのではなく、3つの異なるボトルネックを解決している: H100は汎用機。80GBのメモリ、強力な計算能力。その上限は計算ではなく、容量——80GBだ。 H200は新チップではない。H100と同じ計算ダイを使用し、FLOPSも同じ。NVIDIAが変更したのはメモリのみ:141GBに拡大し、帯域幅は43%増加。なぜか?推論は計算能力ではなく、メモリ帯域幅にボトルネックを抱えているからだ。その結果:追加の電力消費なしに、約40%高速なサービス提供が可能になる。 B200が真の飛躍だ。新アーキテクチャ、デュアルダイ、192GBメモリ、帯域幅は2.4倍、ネイティブFP4対応、消費電力1,000W。H100の約2~2.5倍の性能を発揮する。しかし、これは別のクラスのマシンだ:新しい基板、新しい冷却システムが必要で、納期は2026年半ばまで遅延している。 お金を節約するルール:世代ではなく、ボトルネックに応じて選ぶこと。モデルはメモリ容量に収まるか?デコードが帯域幅不足に苦しんでいるか?本当に計算能力が必要なのか?最初にぶつかる壁を乗り越えるチップを購入せよ。 GPUへの後悔の多くは、ワークロードが常にメモリ制約だったにもかかわらず、最高レベルの計算能力に支払ったことだ。 #AI #GPU #AIModels
