哎，聽說了嗎？
Human researchers have at most two years left.
Two years later, humans conducting AI research will be like humans playing chess today.
你當然還能下，但根本沒人在乎你下得怎麼樣。
這是前 OpenAI 推理模型一號位 Jerry Tworek 抛出的最新暴論。
他於2019年加入 OpenAI，一待就是七年。當年強化學習怎麼都無法擴展，是他堅持不懈地推動才突破瓶頸，o1 和 o3 這兩代強力產品都是他親自帶隊打造的。
「我們想創造AGI。」這是2019年他剛進入OpenAI時，Ilya在全體會議上提出的全部路線圖。七年後，他自行創業了。
更令人毛骨悚然的是，這話並非只有他一個人在說。目前AI研究人員之間最流行的內部笑話是這樣的——
我們只剩下最後幾天班可上了，趁現在還能幹就趕緊幹，幹完就集體退休休息吧。
大家反覆當黑色幽默來講，但每個講笑話的人心裡都清清楚楚。
這個笑話，八成就是現實。
而這還只是開胃菜。在整個訪談中，他一句接一句地放狠話：
- 代理確實有創造力，但那是一種極其劣質、大量堆砌的創造力，想法五花八門，卻普遍糟糕至極
- 世界上真正從訓練到部署前沿模型的人，可能只有三十到五十個，其餘所有人都在為他們打下手。
- 將 Transformer 視為最佳解，這個假設幾乎不可能成立
- 在 OpenAI 的七年裡，真正認真嘗試更換底層架構的次數，只有三到四次
- 世界並非非得靠我們上班才能運轉，這個前提原本就不成立
以下是整理後的版本，Enjoy。
一半的工作，已經沒人做了
這個數字與兩年無關，與跑分無關，與算力也無關。
他數的是在這項研究中，還有多少工作是由人來完成的。
而這活兒早就被劈成了兩段。
一段是出主意，想清楚該往哪兒走。另一段是幹活，把想法變成能跑的代碼再把數據拿回來。
而那段實際操作，已基本交由 Agent 處理。
Tworek 於今年 4 月創立了一家名為 Core Automation 的公司，口號是打造全球最自動化的 AI 實驗室。
在他們那兒，一次實驗的完整週期，直接從一個月壓縮到一天。效率整整提升了 30 倍！
不過，這一段的出主意功能，Agent 目前還無法接續。原因在於——
They are absolutely a highly creative species.
但它們是以一種極其劣質、海量堆砌的方式在揮霍創造力。想法確實五花八門，但想法也普遍爛得可以。
全世界只有三十到五十個人
聽起來，出主意這一段似乎還穩。
但真正能出主意的人，本來也沒剩下幾個了。
在採訪中，主持人透露，有位 OpenAI 內部研究員跟他交過底——
全世界真正能端到端搞懂如何訓練和部署一個前沿模型的人，可能只有三十到五十個。
其餘所有人都在為這幾十個大腦打下手，包括那家最頂尖公司裡絕大多數的正式員工。
Tworek 沒有反駁。
他也認為，任何頂級團隊都是這樣運轉的。少數幾個人定下航向，身後拖著一整台轟鳴的執行機器。
To understand how sought-after these dozens of people are, just look at his own recruitment list.
Core Automation 的聯合創始人 Rohan Anil 曾於 Anthropic 工作，更早之前曾在 Google DeepMind。
曾在 DeepMind 負責 Gemini 的 Anmol Gulati 也被挖角過來。連 OpenAI 原來的人力負責人 Julia Villagra 也跟著過去了。
所有實驗室都在同一個池子裡撈人。而這個池子，一共就那麼幾十條魚。
所以這個數字與全人類無關。
說的是這幾十個人，還能再撐多久。
七年來，架構僅被認真調整過三四次
既然只剩下幾十個人，那擋在 AI 面前的最後一道牆是什麼？
Tworek 的答案只有一個詞：Transformer。
In his view, this is almost impossible to be the optimal solution.
首先，模型在部署後無法繼續學習。你和它聊再多，它也不會變強，下一次對話還是原來那個它。上下文窗口也撐不住，他說自己用 Codex 做上二十來分鐘，就得壓縮一次。
其次，如果想靠持續微調去補，就會發現不僅效率極低，而且會災難性遺忘，學會了新的就忘了舊的。
因此，這些年整個行業圍繞 Transformer 做的大部分工作，其實是在讓它變便宜，很少有人真正讓它變強。
而 Tworek 真正想要的東西，其實也不在架構本身。
他想要的是能在測試時繼續學習的模型，那種能從用戶互動、用戶數據中持續成長的模型。更換架構只是達成這一目標的手段。
這些道理，業內沒有人不懂。但這麼多年過去了，為什麼 Transformer 還穩穩地站在那兒？
背後的原因簡單得有點荒謬——根本就沒怎麼試過。
在 OpenAI 的七年裡，真正認真嘗試替換底層架構的次數，只有三到四次。
流程是這樣的。
研究員先撰寫一個小規模驗證實驗，寫完後至少運行三個月。結果看起來滿意，才敢放大。
而所謂放大，就是你得憑三寸不爛之舌說服差不多十個掌握生殺大權的人，然後這十個人再把 3 到 6 個月砸進你這個無底洞。
最終不是被 Transformer 早已滾成雪球的那股動能碾碎，就是被部分吸收，變成它身上的一个螺絲釘。
七年，三四次。這就是全球最強的 AI 實驗室在架構創新上的全部產能。
「Jare，拿這些算力去燒吧」
他自己曾在 OpenAI 遇到過完全相同的死局，而打開它的，是一句話。
當時那批半死不活的實驗，掙扎出了那麼一點「生命跡象」。談不上好，但總算是有了苗頭。
就在這個關鍵時刻，後來成為 OpenAI 首席科學家的 Jakub Pachocki 找到了他。
Jare，這些 GPU 全都給你，你看看能不能把手上成果做得再大一點、再狠一點。
「現在你手裡有這些 GPU 了。」他複述這句話的時候，o1 還沒有名字
這句話將他從一個悖論中拯救了出來——
你必須先拿出成果，才有資格要求算力。
但你明明得先擁有那筆算力，才能砸出結果。
Tworek 表示，大部分前沿方向都困在這個悖論裡。實驗室裡為搶算力打得頭破血流的暗戰，說到底都是在找一條出去的路。
而出口，有時候就是領導層那麼一 點點 Confidence.
只要有人從上面發話，說我希望你能有一筆像樣的算力配額去狠狠搞它，這就足夠了。
Once the gate opens, it becomes impossible to stop what follows.
強化學習從這個節點開始，跨過了好幾個數量級。
而 o1 的破繭而出，這條被無數人判了死刑的推理模型之路，硬是被他走活了。
10 萬美元，頂一個專家
而這次，他不用再等誰發話了。
整個區塊鏈上最耗錢的環節，就是將抽象的想法轉化為實際運行的代碼。而這正是當前 Agent 最擅長的工作。
例如，Core Automation 曾用這套方法來攻克 GPU 的核心。
具體來說，他們將一個 QR 分解核心交給編程 Agent 執行了四周，耗費了約十萬美元的調用成本，最終將該核心的速度提升至原來的六十倍。
這項工作屬於底層性能工程，專注於如何讓矩陣運算在顯卡上運行得更快，平時必須依靠極少數專家逐行手動調優。
而這樣的專家，全世界也沒幾個。
現在十萬美元就能頂上一個。它既不用被說服，也不需要三到六個月。
卡了七年 的 那道關口，就這麼被衝開了。
那以後我們還能幹什麼？
連最難啃的架構都鬆動了，那幾十個人手裡的方向盤，也就握不了多久。
在訪談最後，主持人直接向他提問：當這一天真的到來時，人們還能做些什麼？
对此，Tworek 描述了兩幅畫面。
第一張是古希臘。
大家在廣場上碰面，慢悠悠地聊上一整天哲學，然後去鍛鍊身體，吃著橄欖，喝著葡萄酒。
他剛描繪完就笑了，承認這大概只是在投射他自己的願望。
「我們在廣場上碰個頭，然後聊天。」他原話描述後AGI時代人類的日常生活，說完自己先笑了。
第二張是高中，或說大學。
他認為人應該保持對「卓越」本身的追求，繼續貪婪地學習新事物，把身體和腦袋都練到極限。
這有點像職業體育，根本沒有經濟上的理由逼你流血流汗，但人骨子裡的驕傲，就是要夠一夠那個叫「偉大」的東西。
我們得找到各種方式去幹這件事。
因為在下一個世界裡，再也不會有那種「你不做，這世界就要塌了」的事情。世界會自己在我們已經建好的基礎設施上跑下去。
「我們應該一直學下去。」他把這件事說得像是一種義務，而不是消遣。
然後他平靜地掀開了底牌。
我們必須工作，這個世界才能運轉。這個假設，根本沒必要成立。
「很多人將自我價值建立在工作上。」他承認，這是最難跨越的一關，包括對他自己而言。
他本人也在這份名單上
說實話，聽完整場，最讓人心裡發毛的不是那個兩年。
他本人也知道，他正在為這個倒數計時踩油門。
他要打造的東西，定義就是能自行學習、自行強化，再也不需要人在一旁餵養。一旦實現，那幾十個職位將更快消失。
但他還有一句更狠的：第一個判的就是他自己。
如果你不是算力儲備最恐怖、體量最大的實驗室，你就會死得很難看。
當時，Core Automation 成立僅四個月，賬面收入為零。
他說，自從創業以來，幾乎每週都有人跑來對他說：「Jare，太晚了，那把通天的梯子早就被收上去了。」
他的回應只有一句自家的口頭禪。
我們公司的人最常說，一切都是 skill issue。
說到底，失敗了別怪大環境，全怪你自己技術太差。
說真的，這句話放在這場訪談裡，还真有點那種味道。
再回頭看看開頭那句流行梗。
我們只剩下最後幾天可以上班了，趁現在還能幹就趕快幹吧。
那語氣裡到底是興奮，還是悲涼？我們無從得知。
因為對說這話的人來說，那兩種情緒本來就是一回事。
Tworek 說，這一行的節奏極度消耗人，這麼多年幹下來，真的是非常非常累。
但 如果 我 們 真 的 相 信， 這 是 我 們 整 個 職 業 生 涯 裡 最 重 要 的 一 段 時 間。
「那大概，是極其值得的吧。」
參考資料：
https://x.com/MTSlive/status/2092387349623935322
本文來自微信公眾號「新智元」，作者：ASI 啟示錄，編輯：摩西