極簡実験:2時間で書き上げた計算力シミュレーション
私は極めて簡潔な書き方を試してみたい:2時間の制限を設けて、素早く1本のブログ記事を仕上げる。重要なサブトピックの多くを深く掘り下げられないが、こうしない限り、私が興味を持っている多くのテーマは常に先延ばしのまま、進展がなくなる。
今日は、今後数年間のAIラボにおける計算能力の状況についてお話ししたいと思います。
Anthropicの収益は10倍、計算能力は3倍に増加
Anthropicの売上は年間で10倍に成長している。この傾向が続くなら、Anthropicの今年末の売上はおそらく1,000億~1,500億ドルの範囲に収まるだろう。この傾向が継続すれば、来年末には1兆ドルの売上を達成しなければならない。もちろん、この傾向が必ず続くという必然性はなく、根本的にはAIの能力の問題である。しかし、もし本当に継続すると仮定した場合、この世界ではどのような条件が成立しなければならないのか?
ラボの計算能力は年間3倍に成長している。計算能力が3倍にしか成長しない状況で収益を10倍に伸ばすには、以下の3つのうち複数が同時に発生しなければならない:一、ラボの利益率の向上;二、計算能力の価格上昇;三、ラボがより大きな割合の計算能力を推論に使用すること。
私の理解では、以下の三つのことがほぼ同時に起こっています。第一に、Anthropicの利益率は2025年の40%から、今年のFable推論業務では80%以上に上昇した可能性があります(ただし、限界計算資源の利益率については別途説明します)。第二に、計算資源のスポット価格は今年2月の安値以来40%以上上昇しており、実際の研究室が支払う価格の上昇幅はさらに大きくなる可能性があります(後で詳しく説明します)。第三に、Epochのデータによると、OpenAIは2024年に計算資源支出の約4分の1を推論に費やしていましたが、現在ではその割合は50%に近づき、さらに高くなっている可能性があります。
研究所は「推論」という道を選びたくない
研究室は実際、第三の道(ますます多くの計算リソースを推論に割くこと)を選びたくない。あるジョークが非常に的確に指摘している:推論の収益の意味は、投資家に更多の資金を提供させ、より多くの計算リソースを購入し、より大きなモデルを訓練させるための説得手段である。もし大部分の計算リソースを推論に集中させれば、ある意味でAIの進歩が停滞したことを宣言していることになる——なぜなら、訓練への継続的な投資はもはやコストパフォーマンスが悪く、あなたのビジネスはほぼクラウドサービスプロバイダーと変わらないからだ。しかし、各大研究室はそうは考えていない。彼らは現在展開しているモデルが1年後には非常に陳腐化していると感じており、現在このビジネスを展開するのは、より賢いモデルの訓練を支えるための商業事例を蓄積するためだと考えている。
値上がりが最も可能性の高い答えです
したがって、残る道は二つある:一、実験室の利益率を向上させる;二、計算能力のコストが上がる。もしトップの数社の実験室が競合他社を大きくリードしているなら、最初の道がより顕著になる。市場競争において、利益率はあなたが次善の選択肢よりどれだけ優れているかに依存する。最初の効果が支配的になるためには、来年末までに利益率が90%以上に達する必要がある。これは私には非常に異常なように思える。しかし、AI実験室の収益が驚異的な速度で成長し続ける可能性は確かに感じている。
したがって、「来年末の売上高が1兆ドルに急増する」という世界が現実となるための最後の効果、すなわち計算能力の大幅な価格上昇について説明します。私が述べたように、これはすでに始まっています。実際の研究室が求めるレベルの計算能力を見ると、価格上昇はさらに顕著です——彼らはスポットインスタンスに頼ることができず、モデルの重みとユーザーのデータのセキュリティを確保し、十分なスケールを確保して高い利用率と柔軟性を得る必要があります。この市場がどれほど狂っているかを見てみましょう。GoogleとAnthropicがSpaceXから計算能力を賃貸する価格について、Googleは毎月9億ドルを支払い、11万枚のGPU(GB200とGB300の混合)をレンタルしていると報告されています。これを換算すると、これらのGPUのスポット価格のおよそ2倍に相当します。そして、現在のスポット価格自体が2月より40%上昇しています。
重要な結論を強調したい:AIモデルがますます強力になるにつれ、同じ計算リソースから生み出される価値も高まっている。もし、人間レベルのソフトウェアエンジニアがH100級のデバイス上で動作すると仮定すれば、現在のソフトウェアエンジニアの市場給与水準に基づけば、このH100の年間賃料は25万ドル以上になるはずだ——現在のスポット価格の15倍である。
計算能力がより高価になると、世界はどうなるか?
もちろん、突然1000万人のソフトウェアエンジニアが増加すれば、限界エンジニアの価値は当然下がるため、そのH100が現在の収益の15倍を生み出すとは限らない。しかし、私はこの論理が成り立つかどうか確信がない。この主張をAIではなく人間に適用すれば、これは古典的な「労働力総量の誤謬」である。経済学者たちは一般的に、高スキル移民は長期的には賃金を押し下げないと考えている。なぜなら、専門化とイノベーションが労働力の価値を高めるからだ。今回の労働力供給ショックの規模が大きすぎ、速すぎるために、この経験則が無効になった可能性もある。しかし、標準的な経済学が労働力について述べるところを信じるなら、限界労働力の価値(および計算能力の限界価格)は驚異的な高位を維持するはずである。
この世界では何が起こるのでしょうか?
トップモデルは計算リソースからますます価値を引き出しており、追いつく難易度はますます高まっている。2028年までにソフトウェアエンジニアリングが自動化され、計算リソースの価格が現在の15倍に上昇した場合、収益が一切ない状態でトップラボと計算リソースを競い合うことは極めて困難になる。
最も優れ、最も効率的なモデルを訓練できれば、得られる利益率は今日よりもはるかに高くなる。これはアルチン・アレン効果である:固定コストが品質の異なる二つの商品に同時に上乗せされると、高品質な商品の方が相対的にコストパフォーマンスが向上し、需要はそれへとシフトする。H100の1時間あたりの価格が20ドルに上昇したとき、より弱く効率の低いモデルを使用することは極めて高額で馬鹿げた選択になる——同じ結果を得るために、より多くのトークンを消費し、より高価な計算リソースを消費しなければならないからだ。したがって、より少ない計算リソースでトップレベルのモデルを訓練できる人物は、非常に高いプレミアムを課すことができる。基盤となる計算リソースのコストはすでにこれだけかかるのだから、同等の計算リソースで最も効率的なモデルを使うために、少し多く支払わない理由があるだろうか?
現在人気のある多くのAIアプリケーションは、価格によって淘汰されるでしょう。AIは現在、人間の労働力に比べて比較的安価です。これは、AIがトップレベルの人類が行える多くのことをまだ実現できないためです。しかし、その状況はいずれ変わります。そのときには、GPUを使って短い動画のゴミコンテンツを生成するコストが、見合わないほど高くなるでしょう。
歴史的な教訓:希少性の予測も間違えることがある
しかし、このような予測は、過去の希少性に関する誤った予測と類似している。私はサイモン・エリヒの賭けを思い出す。ポール・エリヒは、1990年までの10年間で、一籠の商品価格が下落するのではなく上昇すると賭けた。この賭けは通俗的な経済学の議論で有名であり、エリヒのマルサス的的世界観が否定されたとされる理由となっている——彼は市場シグナルと人間の知恵が希少資源を節約する役割を過小評価していた(ただし、この賭けを別の10年間で行えば、エリヒが勝っていたという分析もある)。
計算能力の供給の弾力性はどれほど低いですか?
計算能力には、コモディティという基準は適していないと推測されます。なぜなら、計算能力の供給の弾力性は金属採掘よりもはるかに低く、大規模な需要ショックへの吸収や代替策の模索における能力もはるかに弱いからです。年間3倍の計算能力成長は、以下の3つの数値の積によって導かれます:モールの法則による1.4倍、新製造工場の建設による1.2倍(少なくとも2030年まではEUV装置の供給に制約される)、そしてAIが他のデバイスから先進プロセスウエハの割当を奪うことで生じる1.8倍(この項目は2027年頃に壁に突き当たる見込みで、そのときAIがN3ウエハの割当を60%から86%まで引き上げるからです)。この3つの乗数のいずれも、さらに引き上げるのは難しいですし、最後の項目はウエハ割当が飽和するにつれ、1〜2年以内に頂点に達するでしょう。
最終結論:計算能力は再び安くなるが、それは今ではない
私が言いたいのは、将来的のある時点で、計算能力が再び安くなるということです。いずれ、ロボットが海辺の珪砂や地下の銅鉱を直接コンピューターに変える時代が来るでしょう。そのとき、計算能力の価格は原材料やツールのコストに近い水準まで下がるはずです。しかし、私が今議論しているのは、現在の段階——AI計算能力が年間3倍しか成長していないという段階です。この成長速度では、AIが年々価値を高めることによって生じる価格上昇効果に追いつけません。
ちなみに、Anthropicの収益は年間10倍の成長を遂げている一方で、計算リソースは3倍しか増えていない。これは、モデルビジネスに非常に強いスケールエコノミーが存在することを示している。論理的にも納得できる——モデルを訓練するには一度だけ学習コストがかかり、そのコストをすべてのユーザーに分散できる(人間の労働力とは異なり、各インスタンスを最初から訓練する必要はない)。私は、知性にこのような強いスケールエコノミーが存在する世界に住きたくない(権力の集中を懸念しているからだ)。しかし、現実はまさにそのようになっている。
著者:Dwarkesh Patel、翻訳:深潮 TechFlow
