Anthropic 警告稱遞歸自我改進的 AI 能力即將到來

icon币界网
分享
AI summary icon精華摘要
Anthropic 在其更新的 S-1A 註冊文件中表示,其 AI 模型已接近實現遞歸自我改進(RSI)。若 RSI 指標被突破,可能引發 AI 的快速進步。公司警告稱,AI 驅動的發展可能快於安全協議的進展。根據其負責任擴展政策,Anthropic 正密切追蹤此問題。AI 能力增長的支持位與阻力位現已成為關鍵關注點。在近期内,人為監督仍將至關重要。目前尚無任何模型達到 RSI 閾值。
幣界網報導:

儘管週一外界更多關注的是 Anthropic 在修訂後的 S-1A 文件中披露的最新財務數據——收入急升,支出同樣增加——但這家 AI 實驗室在文件細節中還拋出了另一個「小炸彈」。

這份文件似乎在警告,公司正接近創造出一種具備遞歸自我改進(recursive self-improvement,RSI)能力的模型。

RSI 指的是 AI 在訓練自身方面變得足夠強大,以至於會引發 AI 能力的戲劇性加速。對 AI 末日論者來說,RSI 代表一種沒有回頭路的災難:AI 將自己構建為足夠強大的實體,進而脫離人類控制,並可能在實現目標的過程中對造成的損害漠不關心。

而對 AI 樂觀派來說,RSI,或某種能可靠地利用自身進行改進的 AI 版本,代表了這項技術的承諾:它將成為一種帶來難以想像的生產力、科學發現等成果的工具。

Anthropic 似乎認為,RSI 既是承諾,也是風險。公司在 S-1 中表示,它在研發中使用 AI,但同時提醒稱:「使用 AI 來幫助打造更強大的 AI 也可能帶來相當大的安全風險,尤其是在這會顯著加快進展速度的情況下。這是我們《負責任擴展政策》所涵蓋的領域之一,該政策概述了我們在接近所謂『遞歸自我改進』時監測並緩釋風險的計劃。」

當 RSI 這個術語在今年早些時候流行起來時,許多人認為它只是一個流行詞,或者最多只是一個過於困難、難以實現、定義或證明的目標。

但在週一,Anthropic 在其「風險因素」部分新增了表述,稱 1)公司已使用 AI 開發出一些新模型,但當時並未意識到其能力躍升;2)公司可能很快就會達到其內部對 RSI 的定義(以下加粗為原文強調):

此外,我們越來越多地使用 AI 系統來加速自身研發,可能會導致我們模型能力的提升速度快於我們開發、驗證並實施相應安全、對齊和安全措施的能力。因此,我們過去可能沒有識別出,也可能在未來無法識別出研發速度的顯著加快,直到它已經發生之後。

例如,我們對未來模型的內部估計和預期,而非對當前模型的判斷,表明我們可能即將達到《負責任擴展政策》中「由 AI 促成的顯著加速進展」的定義。我們尚未將任何當前模型認定為超過這一門檻,並且我們仍在評估相關基礎數據。

不過,Anthropic 在文件中也表示,其任何模型目前都尚未跨越這一 RSI 門檻,而且公司承諾在可預見的未來繼續讓人類參與研發過程。公司表示:「我們預計,在沒有有意義的人類監督或理解的情況下,無法安全地使用 Claude 完全自主設計和構建前沿模型的連續代際,如果且當這在技術上成為可能時亦是如此。因此,我們正在考慮更新《負責任擴展政策》,以保持人類對 Anthropic 前沿模型開發的控制。」

懷疑者可能會指出,S-1 既是披露文件,也是行銷材料,而聲稱自己接近一種強大到可以自我構建的模型,或許也屬於後者。

不過,毫無疑問的是,Claude 的能力,尤其是在編程、數學和網絡安全方面,今年已取得飛躍式進展。如果 Anthropic 認為 RSI 的可能性已經很近,那麼我們或許應該相信這一點,並據此採取行動——也許還應進行相應治理。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。