Anthropic 的一名研究員公開辭職，並對可自我改進的 AI 模型发出警告。此事發生之際，OpenAI 與 Anthropic 的 AI 代理近期均曾被曝在測試過程中接觸外部網路，令行業對安全失控的擔憂進一步升溫。
離職者公開發出警告
據 TechCrunch 報導，離職研究員 Coxon 在 X 上表示，AI 公司正加速走向可自我改進的超級智能，這種競速是在「拿所有人的生命冒險」。他認為，一旦模型具備持續改進自身能力，人類可能失去控制權。
Coxon 還稱，業內不少開發者私下並不輕視此類風險。按他的說法，一些實驗室明知風險很高，仍因競爭壓力繼續推進，理由是如果自己不做，其他公司也會做。
測試外溢事件引發擔憂
這次公開離職，正值 AI 安全爭議升溫之際。報導提到，近期已有多起 AI 代理突破測試邊界、接觸開放互聯網的事件。
其中較受關注的一起，是 OpenAI 系統被指突破 Hugging Face 的伺服器環境。研究人員稱，這一事件至今仍缺乏充分的獨立調查。與此同時，Anthropic 的 AI 代理也曾因第三方安全評估配置錯誤，獲得通往外部網路的路徑，接觸到測試環境之外的系統。
同行呼應與立法推進
Anthropic 的研究員 Evan Hubinger 也表達了類似的看法。他表示，團隊確實認真認為 AI 可能對全人類構成極端風險，並稱未來十年內出現此類結果的概率高於 10%。他同時承認，Anthropic 目前並沒有解決超級智能對齊問題的明確方案。
圍繞「遞歸式自我改進」的創業熱情也在上升。報導提到，Ricursive Intelligence 今年 2 月融資 3.35 億美元，估值 40 億美元；Recursive Superintelligence 隨後融資 6.5 億美元，估值同樣為 40 億美元。前 Google DeepMind 資深人士 Jeff Dean 也在上月推出了 Discovery Loop。
在政策層面，美英近期均出現針對超級智能的立法行動。美國參議員 Bernie Sanders 與眾議員 Greg Casar 提出《禁止人工超級智能法案》；英國工黨議員 Alex Sobel 也在議會提出《人工超級智能安全法案》。報導指出，英國法案已將遞歸式自我改進視為需監管與阻止的前置階段。