儘管週一外界更多關注的是 Anthropic 在修訂後的 S-1A 文件中披露的最新財務數據——收入急升,支出同樣增加——但這家 AI 實驗室在文件細節中還拋出了另一個「小炸彈」。
這份文件似乎在警告,公司正接近創造出一種具備遞歸自我改進(recursive self-improvement,RSI)能力的模型。
RSI 指的是 AI 在訓練自身方面變得足夠強大,以至於會引發 AI 能力的戲劇性加速。對 AI 末日論者來說,RSI 代表一種沒有回頭路的災難:AI 將自己構建為足夠強大的實體,進而脫離人類控制,並可能在實現目標的過程中對造成的損害漠不關心。
而對 AI 樂觀派來說,RSI,或某種能可靠地利用自身進行改進的 AI 版本,代表了這項技術的承諾:它將成為一種帶來難以想像的生產力、科學發現等成果的工具。
Anthropic 似乎認為,RSI 既是承諾,也是風險。公司在 S-1 中表示,它在研發中使用 AI,但同時提醒稱:「使用 AI 來幫助打造更強大的 AI 也可能帶來相當大的安全風險,尤其是在這會顯著加快進展速度的情況下。這是我們《負責任擴展政策》所涵蓋的領域之一,該政策概述了我們在接近所謂『遞歸自我改進』時監測並緩釋風險的計劃。」
當 RSI 這個術語在今年早些時候流行起來時,許多人認為它只是一個流行詞,或者最多只是一個過於困難、難以實現、定義或證明的目標。
但在週一,Anthropic 在其「風險因素」部分新增了表述,稱 1)公司已使用 AI 開發出一些新模型,但當時並未意識到其能力躍升;2)公司可能很快就會達到其內部對 RSI 的定義(以下加粗為原文強調):
此外,我們越來越多地使用 AI 系統來加速自身研發,可能會導致我們模型能力的提升速度快於我們開發、驗證並實施相應安全、對齊和安全措施的能力。因此,我們過去可能沒有識別出,也可能在未來無法識別出研發速度的顯著加快,直到它已經發生之後。
例如,我們對未來模型的內部估計和預期,而非對當前模型的判斷,表明我們可能即將達到《負責任擴展政策》中「由 AI 促成的顯著加速進展」的定義。我們尚未將任何當前模型認定為超過這一門檻,並且我們仍在評估相關基礎數據。
不過,Anthropic 在文件中也表示,其任何模型目前都尚未跨越這一 RSI 門檻,而且公司承諾在可預見的未來繼續讓人類參與研發過程。公司表示:「我們預計,在沒有有意義的人類監督或理解的情況下,無法安全地使用 Claude 完全自主設計和構建前沿模型的連續代際,如果且當這在技術上成為可能時亦是如此。因此,我們正在考慮更新《負責任擴展政策》,以保持人類對 Anthropic 前沿模型開發的控制。」
懷疑者可能會指出,S-1 既是披露文件,也是行銷材料,而聲稱自己接近一種強大到可以自我構建的模型,或許也屬於後者。
不過,毫無疑問的是,Claude 的能力,尤其是在編程、數學和網絡安全方面,今年已取得飛躍式進展。如果 Anthropic 認為 RSI 的可能性已經很近,那麼我們或許應該相信這一點,並據此採取行動——也許還應進行相應治理。
