推論コストが下がっているからといって、AIバブルを「弾けた」と呼ぶのは、経済学的に逆である。 OpenAIは、よりトークン効率の高いモデルであるLunaとTerraの価格を引き下げた。一方、SolとProの価格は据え置きである。この価格低下は、モデルの実行コストが下がり、使用するトークン数が減り、ワークロードをより効率的に処理できるようになったことによるものである。 これにより、利用が大幅に拡大する可能性が開かれた。これまで自動化に高すぎたコストがかかったタスクが、コーディング、カスタマーサポート、研究、データ分析、エージェントワークフローなどにおいて、常時実行可能になった。企業は1件あたりのリクエストにかかるコストを減らしつつ、ビジネス全体で数千件以上のリクエストを処理できるようになる。 半導体の課題は、消費される総計算量に帰着する。トークンあたりの価格だけでは、ほとんど何も示せない。クラウドのバックログは拡大し、ハイパースケーラーは依然として容量不足であり、インフラへの支出は引き続き上昇している。 モデル間の競争は、モデル層のマージンに圧力をかけるだろう。推論コストの低下は、AIを経済的に利用できるアプリケーションの数を拡大し、その結果、チップ、メモリ、ネットワーキング、データセンターへの需要をさらに押し上げ続ける。@jvisserlabs