一個極簡實驗:2 小時寫完的算力推演
我想嘗試一種極簡寫法:給自己設定 2 小時,快速寫完一篇博文。很多重要的子問題我來不及深究,但如果不這樣做,我感興趣的很多話題就會一直擱置、毫無進展。
今天我想聊聊未來幾年 AI 實驗室的算力局面。
Anthropic 的營收增長了 10 倍,算力僅增長了 3 倍
Anthropic 的營收每年增長 10 倍。按這個趨勢,Anthropic 今年年底的營收大概率會落在 1000 到 1500 億美元之間。如果這個趨勢持續,他們明年年底就得做到 1 萬億美元營收。當然沒有硬性理由說趨勢一定會持續——這歸根結底是 AI 能力的問題。但假設它真的持續了,那這個世界裡必須有哪些條件成立?
實驗室的算力每年增長 3 倍。如果一家實驗室要在算力只增長 3 倍的情況下實現營收增長 10 倍,以下三件事必須同時發生其中幾項:一、實驗室利潤率提升;二、算力價格上漲;三、實驗室將更大比例的算力用於推理。
我的理解是,這三件事基本上都在發生:一、Anthropic 的利潤率從 2025 年的 40% 上漲至今年 Fable 推理業務可能超過 80%(不過邊際算力的利潤率可能另當別論,後面會再說);二、算力現貨價格自今年 2 月低谷以來已上漲 40% 以上,而實驗室實際支付的價格漲幅可能更大(後面細說);三、根據 Epoch 的數據,OpenAI 2024 年約有四分之一的算力支出用於推理,現在這個比例肯定更接近 50%,甚至更高。
實驗室不願走「推理」這條路
實驗室其實不願意走第三條路(將越來越多的算力用於推理)。有個笑話說得非常準確:推理營收的意義,在於說服投資人給你更多錢,讓你去購買更多算力、訓練更大的模型。如果你把大部分算力都壓在推理上,某種程度上就是在宣告 AI 進步停滯了——因為繼續加大訓練投入已不划算,你的生意基本上就成了雲服務商。各大實驗室並不這麼認為——他們覺得自己現在部署的模型,一年後看起來會非常落後,而現在做這門生意是為了累積商業案例,支撐繼續訓練更聰明的模型。
漲價,是最可能的答案
因此只剩下兩條路:一、實驗室利潤率提升;二、算力變貴。如果頭部的一兩家實驗室遠遠領先於競爭對手,那麼第一條路會更明顯。在市場競爭中,利潤率取決於你比次優方案好多少。要讓第一個效應佔主導,明年年底利潤率必須達到 90% 以上。這在我看來相當離譜。但我確實認為,AI 實驗室的營收繼續以驚人速度增長是有可能的。
因此,解釋「明年年底營收瘋狂增長到 1 萬億美元」這個世界如何成真,還剩最後一個效應:算力大幅漲價。如我所說,這已經開始發生了。如果我們看實驗室真正需要的那檔算力,價格漲幅會更觸目驚心——它們顯然不能依賴即時實例,它們需要保障模型權重和用戶數據的安全,還需要足夠的規模來獲得良好的利用率和靈活性。來看看這個市場有多瘋狂:谷歌和 Anthropic 從 SpaceX 租用算力的價格。據報導,谷歌每月花費 9 億美元租用 11 萬張 GPU,這批 GPU 是 GB200 和 GB300 的混合體。換算下來,大約是這些 GPU 現貨價的 2 倍。而目前的現貨價本身已比 2 月高出 40%。
我想強調一個核心結論:隨著 AI 模型越來越強,同樣一塊算力能產生的價值也越來越高。如果一個真正達到人類水平的軟體工程師能在 H100 級別的設備上運行,按照目前軟體工程師的市場薪資水平,這張 H100 的年租金應超過 25 萬美元——是今天現貨價的 15 倍。
算力更貴,世界會怎樣?
當然,如果突然多出 1000 萬個軟體工程師,邊際工程師的價值自然會下降,所以那張 H100 未必真能產出 15 倍於現在的營收。但我其實不確定這個邏輯是否成立。如果把這個論點套用在人身上而不是 AI 身上,這就是經典的「勞動力總量謬誤」。經濟學家普遍認為,高技能移民從長期來看不會壓低工資,因為專業化分工和創新會提升勞動力的價值。也許這次的勞動力供給衝擊規模太大、速度太快,讓這條經驗法則失效了。但如果我們相信標準經濟學對勞動力的判斷,那麼邊際勞動力的價值(以及算力的邊際價格)應該會保持在驚人的高位。
What will happen in this world?
頂尖模型越來越能從算力中榨取價值,追趕的難度也越來越大。如果到 2028 年,軟體工程已被自動化,算力價格比現在高出 15 倍,那麼在沒有任何營收的情況下,想與頂尖實驗室爭奪算力,將會極其困難。
如果你能訓練出最優秀、最高效的模型,你所能收取的利潤率將遠高於今天。這是阿爾欽-艾倫效應:當一筆固定成本同時加諸於兩種品質不同的商品上,高品質的商品相對更划算,需求因此向它轉移。當 H100 每小時的價格漲至 20 美元,使用較弱、較低效的模型將變得極其昂貴且愚蠢——因為你需要消耗更多 token、運行更多昂貴的算力,才能獲得同樣的結果。因此,如果誰能訓練出一個更省算力的頂級模型,就能收取極高的溢價。既然底層算力本來就要花這麼多錢,為何不多花一點,使用在同等算力下最高效的模型?
許多目前流行的 AI 應用將會因價格而被淘汰。AI 現在相對便宜,至少比人力便宜,部分原因是它還無法完成頂尖人類能做的許多事情。總有一天這將不再成立。到那時,用 GPU 製作短視頻垃圾內容的成本將高到不划算。
歷史的教訓:稀缺性預言也會出錯
不過,這類預測與歷史上關於稀缺性的錯誤判斷有相似之處。我想到了西蒙-埃利希賭局:保羅·埃利希賭在 1990 年之前的十年裡,一籃子大宗商品的價格會上漲而非下跌。這場賭注在通俗經濟學討論中頗具名氣,因為據稱它證明了埃利希的馬爾薩斯式世界觀被證偽了——他低估了市場信號和人類智慧在節約稀缺資源上的作用(不過也有分析指出,如果這場賭注換一個十年來進行,埃利希會贏)。
算力供給的彈性有多低?
我猜大宗商品這個參照系並不適合算力,因為算力供給的彈性遠低於金屬開採,在吸收大規模需求衝擊或尋找替代方案方面的能力也弱得多。每年 3 倍的算力增長,是由以下幾個數字相乘得來的:摩爾定律帶來的 1.4 倍、新晶圓廠建設帶來的 1.2 倍(至少到 2030 年都受限於 EUV 設備供應)、AI 從其他設備手中搶走先進製程晶圓配額帶來的 1.8 倍(這一項到 2027 年前後會撞牆,屆時 AI 占 N3 晶圓的比例將從 60% 升至 86%)。這三個乘數裡,任何一個都很難再被推高,最後那個甚至會在一兩年內隨著晶圓配額飽和而見頂。
Final stage: Mining power will become cheaper again, but not now
我想說明的是,未來某個時間點,算力會再次變便宜。總有一天,機器人能將海邊的矽砂和地下的銅礦直接轉變為電腦,到那時算力價格應會回落至接近原材料和工具成本的水平。我現在討論的只是當前這個階段——AI 算力每年僅增長 3 倍,這個速度根本趕不上 AI 每年變得更有價值所帶來的價格推升效應。
順帶一提,Anthropic 的營收每年增長 10 倍,而算力僅增長 3 倍,這表明模型業務存在極強的規模經濟。從邏輯上講,這說得通——訓練一個模型,你只需承擔一次性的學習成本,然後這個成本可以分攤到所有用戶身上(與人類勞動力不同,後者每個實例都得從頭培訓)。我不願生活在一個智能具有如此強烈規模經濟的世界裡(因為我擔心權力集中),但現實似乎正是如此。
作者:Dwarkesh Patel、編譯:深潮 TechFlow
