如何讓 AI 替自己研發下一代 AI文章作者、來源:微信公眾號 "APPSO"
如果一位中國人 AI 工程師,技術過硬,履歷漂亮,還出身北大這樣的頂尖學府,那 ta 什麼都有可能做,就是不可能不上班。
翁荔剛因認為健康與生活是「最重要的對齊工作」而離開 Thinking Machines Lab,隨即傳出她重返 OpenAI 工作。據公司發言人透露,她將領導一支加速內部研究的團隊,參與 OpenAI 對「遞歸自我改進」的探索,即讓 AI 參與訓練並改進其下一代模型。

無獨有偶,她的前同事、另一位曾為 OpenAI 核心人物的 Ilya Sutskever 創辦的 Safe Superintelligence,也終於從嚴密的研究中露出一線生機。英偉達在獲得罕見的內部研究訪問權後,決定投資 SSI,並透過新一代 Vera Rubin 系統將其算力提升一個數量級。

英偉達確信,SSI 過去兩年一直在推進一條不同於現有大模型路線的新研究方向。對此,Ilya 沒透露更多,只說了一句:「我們有值得擴大規模的研究。」
好奇的群眾一下子更興奮了,社交媒體上出現了一篇對公開線索的逆向分析,推測 SSI 尋找的並不是下一組更大的預訓練配方,而是一種新的迭代與進化方式:讓模型不僅在訓練完成後靜止不動,而是在反饋、實驗和持續學習中不斷產生更強的下一代。

這個判斷未經 SSI 確認,但與 Ilya 過去的一貫主張高度一致。他此前多次表示,單純依賴更多數據和算力的 scaling 時代正接近邊界,AI 需要重新學會像人一樣,用較少經驗形成更深理解,並在與環境的互動中持續成長。
這些已經相當功成名就的頂尖 AI 人才,似乎都在朝著同一個方向看:如何讓 AI 替自己研發下一代 AI。
「自我進化」不是 AI 半夜重寫大腦
提到遞歸自我改進,很容易聯想到一個科幻畫面:AI 突然意識到自己的缺陷,直接修改神經網路權重,醒來時已經比昨天聰明十倍。

現實中的起點要樸素得多。AI 研發本來就是一條不斷循環的流水線:研究員閱讀論文和實驗記錄,提出一個假設,修改訓練代碼,排隊運行實驗,等結果出來後比較指標、尋找失敗原因,再設計下一轮方案。
如今的大模型已能參與其中許多環節,它能閱讀代碼庫、複現論文、編寫實驗腳本、調用算力運行測試、整理數十組結果、分析哪個參數可能出現問題,然後繼續修改代碼。過去一支團隊需要數天才能完成一輪工作,未來可能由多個智能體並行嘗試數十條路徑,再將最有希望的結果交由人類判斷。
Weng Li 在 7 月初發表的長文《Harness Engineering for Self-Improvement》,幾乎提前寫出了她即將負責的研究方向。她認為,近期最現實的自我改進路徑不是模型直接重寫大腦,而是讓 AI 先學會改造自己的工作環境:自動分析失敗記錄,調整上下文管理、工具調用和工作流程,再透過新的實驗結果持續優化這套系統。更成熟的 harness 可以推動自動化研究,更強的模型又可以反過來讓 harness 變得更簡單,二者形成循環。

這也讓翁荔與 Ilya 的兩條路線出現了有趣的呼應:OpenAI 更像是在將現有研發流程逐步交給 AI,讓它先成為一名能夠工作的研究工程師;SSI 則可能試圖從更底層尋找新的學習範式,讓模型本身具備持續迭代和進化的能力。
AI 並不需要一開始就有能力直接修改自己的權重。只要它能改善訓練流程、篩選數據、設計評測,或優化包圍在模型外的 harness,就已經在參與製造自己的繼任者。
前者從工程循環往裡走,後者從模型機制往外走,目標都是縮短一代 AI 到下一代 AI 之間的距離。
同時,千人聯名請願放慢速度
就在大牛們想要加速押注這條路線時,行業內部出現了另一種聲音。
本週,超過 1100 名來自 OpenAI、Anthropic、Google、Meta 等公司的從業者聯署聲明,要求提前建立能夠控制「自動化 AI 研發」速度的技術與協調工具。參與者中包括 OpenAI 首席科學家 Jakub Pachocki、Anthropic 聯合創始人 Jack Clark 和 Jared Kaplan 等高級研究者——以及,Ilya 本人。

請願並未要求停止 AI 研究,甚至未否認自我改進可能帶來的價值。它擔憂的是,一旦 AI 開始顯著加速 AI 研發,能力的增長可能會快過人類理解和控制系統的速度。

仔細想想,這種「看似矛盾」的反覆橫跳,來自於同一群人,甚至同一個人。在同一時間,就可以做出兩種判斷:他們既相信自動化研究可能是 AI 下一次飛躍的關鍵,也相信一旦這條反饋迴路真正運轉,行業必須擁有在必要時減速的能力。
因為一旦這種循環形成,就與過去發布更強大的模型有所不同。過去的進步速度最終受限於人類研究團隊。人類需要提出問題、安排實驗、判斷結果,進度也會因預算、人力和組織流程而停滯。
The goal of automated AI development is to gradually eliminate these bottlenecks. The stronger the model, the more it can help the team rapidly develop the next-generation model; the next-generation model, in turn, becomes a better researcher, further shortening the time for the next round of development.
要進步,也要控制速度
因此,儘管看似矛盾的兩股力量,其實共享同一個前提:自動化 AI 研發正在從遙遠設想變成一項具體的工程目標。
翁菁回歸 OpenAI,說明遞歸自我改進已開始獲得專門的組織和負責人;英偉達願意在審閱 SSI 秘密研究後投入巨額資金和最新算力,說明新的學習路線至少已達到值得擴大驗證的階段。

請願者要求準備煞車,並非因為他們認為這條路線不會成功,恰恰是因為他們開始認真考慮它成功以後會發生什麼。
真正的分歧不在於 AI 應不應該幫助人類進行研究。代碼生成、論文檢索和實驗自動化早已進入實驗室。而在於,當 AI 從一種提升研究人員效率的工具,逐漸變成能夠自行提出方案、運行實驗、評價結果並修改下一輪流程的研究系統時,人類應在哪些節點保留決定權。
這意味著一系列需要討論的問題:誰來設定其優化目標?誰來判斷一項看似提升分數的修改是否破壞了安全邊界?當多個實驗室處於競爭中時,哪家公司願意單獨暫停一次有效的迭代?如果模型的研發週期真的從一年縮短至數月、數週,外部評估和內部安全團隊還能跟上嗎?

AI companies are no longer just competing to create breakout models—they are competing for a research system capable of continuously producing stronger models.
一邊是 Ilya 和翁荔這樣的頂尖研究者,希望找到新的迭代方式,讓 AI 參與自己的進化;另一邊,是同一行業裡的上千名研究者要求提前準備一套減速機制。兩種立場之間,陣營隨時變化,態度也並不針鋒相對,所有人都面對著一道共同的難題:當研究工具開始加速研究本身,誰還能決定下一代 AI 應該在什麼時候到來?
