Anthropic 警告 AI 最終可能創造自己的繼承者

人工智慧公司 Anthropic 表示，AI 正以如此快的速度進步，以致於開始協助創造下一代 AI 系統。該公司警告，這最終可能使人類更難以維持對 AI 發展的控制。

在一篇新的研究論文中，Anthropic 探討了「遞歸自我改進」的可能性。這是一種 AI 系統在極少人為參與的情況下，設計、構建和訓練更先進 AI 系統的情況。

該公司強調，這尚未發生，也可能永遠不會發生。然而，它認為政府、監管機構和科技公司應立即開始準備。

Anthropic 表示：「我們還未達到那一步，遞歸自我改進也非必然。但它可能比大多數機構所準備的來得更早。」

Claude 在 AI 開發中扮演著更重要的角色

Anthropic 表示，其 Claude AI 模型已遠超基本的編程助手。

公司描述了 AI 工具的演進過程。最初，工程師自行編寫程式碼。後來，聊天機器人協助完成小型編碼任務。接著出現了能夠自行編輯檔案和管理專案的 AI 編碼代理。

今天，AI 代理可以撰寫和運行代碼，獨立完成任務，甚至為其他 AI 代理分配工作。根據 Anthropic 的說法，下一步是 AI 系統積極協助建立和訓練未來的 AI 模型。

公司透露，Claude 目前撰寫了用於開發 Anthropic 自有 AI 系統的大部分代碼。因此，開發人員的生產力大幅提升。Anthropic 表示，平均每位工程師每天產生的代碼量約為 2024 年的八倍。

Anthropic 表示，公開測試和內部研究顯示，AI 的能力正在快速提升。該公司聲稱，AI 能夠可靠完成的任務長度和複雜度約每四個月翻倍一次，而此前這一增長速率約為每七個月。

Anthropic 指出其 Claude 模型的進展作為例子。2024 年 3 月，Claude Opus 3 能夠處理需要人類約四分鐘完成的軟體工程任務。一年後，Claude Sonnet 3.7 據稱可完成需要約 90 分鐘人類工作量的任務。

到2026年，據報導Claude Opus 4.6已能處理相當於約12小時人類工作量的任務。

Claude 的研究能力也有所提升。在一個內部項目中，由 Claude 驅動的代理解決了大部分重大研究挑戰。

Anthropic 也報告稱，Claude 在 2026 年 5 月的困難編程任務成功率達到 76%，與六個月前相比有顯著提升。

Anthropic 概述了 AI 發展的三種可能路徑。第一種是放緩，即進展會隨時間推移變得越來越難以實現。

第二種是未來，AI 持續提升生產力，而人類仍掌控重要決策與監督。

第三個也是最戲劇性的情境是，人工智慧系統開始創造自己的後繼者，從而導致進展速度大幅加快。

根據目前的證據，Anthropic 認為第二種情況最有可能發生。然而，該公司表示，AI 能力進展的速度仍存在不確定性。

Anthropic 表示，人類仍具有重要的優勢，包括判斷力、戰略思維，以及決定哪些問題值得解決。然而，該公司認為，未來最大的挑戰可能不再是 AI 本身的發展，而是人類的監督。

隨著人工智慧系統變得越來越強大，人們可能越來越難以審查、驗證和安全地監控它們的工作。

因此，Anthropic 建議政府和領先的 AI 公司應制定計劃，若進展開始快於社會能安全應對的速度，則暫時減緩最先進 AI 系統的開發。

公司指出，任何顯著的減緩都可能需要國際合作。如果僅有一家公司停止開發，競爭對手仍可繼續推進，從而降低安全措施的有效性。

目前，Anthropic 表示遞歸自我改進仍是一種可能性，而非必然。但隨著 Claude 在構建未來 AI 系統中扮演日益重要的角色，該公司認為，關於 AI 治理、監管與安全的討論應儘早展開，而非延後。

免責聲明：本文所載資訊僅供參考及教育用途。本文不構成任何財務建議或任何形式的建議。Coin Edition 對因使用本文提及的內容、產品或服務而產生的任何損失概不負責。建議讀者在採取與本公司相關的任何行動前謹慎行事。