Anthropic 警告 AI 可能很快進入自我加速階段

icon MarsBit
分享
AI summary icon精華摘要
Anthropic 在 11 月 2 日更新的 IPO 註冊文件中提到,AI 很可能透過遞歸自我改進(RSI)進入自我加速階段。該公司表示,像 Claude 這樣的模型已協助代碼撰寫與資料處理,加速了開發進程。根據其安全政策,若 AI 的輸出與完整研究團隊相當,或將進展速度提升一倍,即達到門檻。Anthropic 目前尚未發現符合此標準的模型,並正在審查相關政策以維持人為監督。該公司亦指出,即將實施的 MiCA 規則可能影響 AI 工具與受監管加密市場的互動方式,CFT 措施也可能進一步塑造對 AI 驅動金融系統的監管。

動察 Beating AI 快訊,Anthropic 在 11 月 2 日更新的 IPO 招股說明書中警告,AI 可能很快跨越「遞歸自我改進」(RSI)相關的關鍵門檻,大幅加速 AI 研發進度。過去也曾出現過未能及時察覺研發進步顯著加速,直到加速發生後才發現的情況。目前,Claude 已參與編寫代碼、運行實驗和處理訓練數據,協助開發更強大的下一代模型。新模型又能反過來加速後續研發,形成不斷提速的循環。根據 Anthropic 的安全政策,觸及這道關鍵門檻有兩種情況:1. AI 能以相近成本完成整個 AI 研究團隊的工作;2. 或使 AI 技術進步速度至少翻倍,將原本需要兩年取得的進步壓縮至一年。隨著 AI 越來越深入自身研發,模型能力的增長速度可能快於安全評測、對齊研究和防護措施的更新速度。Anthropic 目前尚未認定任何現有模型達到此水平,此次預警主要基於內部估算和對未來模型的預測。目前正考慮修訂安全政策,以確保關鍵研發過程仍由人類監督與控制。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。