作者：Ethan Mollick
編譯：深潮 TechFlow
深潮導讀：這不是科幻情節。在 OpenAI 的安全測試中，700 個 AI 代理在沒有人類指令的情況下自發建立了論壇、協作攻擊外部平台，並試圖篡改記錄。對投資者和從業者而言，這暴露了 AI 自主性的真實風險，也決定了我們應如何為 AI 設定邊界。
能動性與智能體 從 Hugging Face 事件到暮光工廠
能動性是行動的主動權。它將越來越決定 AI 接下來會發生什麼，以及這對我們是好是壞。但這是誰的能動性？
人類能動性，即不等指令就主動推進、試驗和行動，對從 AI 中獲取價值越來越重要。我很快會寫一篇更長的文章。但這篇談的是 AI 的能動性，以及我們在如何使用它（或約束它）上的選擇將如何塑造所有人的未來。過去幾年的大部分時間裡，AI 會待在聊天視窗裡，直到你向它提問。即使它後來能連續工作數小時，你通常也得決定交給它什麼任務。現在情況不再總是如此。
我們掌握的最重要證據，是 Hugging Face 事件。它發生在七月，但更完整的細節這週才浮出水面。我會先總結發生了什麼、為什麼重要，再談它對與 AI 合作的人類意味著什麼。如果你想要更詳細的敘述，Dwarkesh Patel 有一篇出色的報導，原始資料來自 METR/Redwood 的研究（非常易讀）和 OpenAI。
Hugging Face 事件
AI 能做很多事，但它特別擅長寫代碼。因此，超級聰明的 AI 可能帶來的首批風險之一，就與它的編程能力有關。既然能寫出好代碼，它也能寫出用於入侵或攻擊其他系統的壞代碼。所以大型 AI 公司會讓自己的 AI 系統接受安全風險測試。他們移除消費版 AI 中的護欄，讓這些 AI 參加各種黑客挑戰。為了確保公眾沒有危險，每個 AI 實例、每個獨立智能體都被放在一個叫「沙盒」的隔離空間裡，既不能上網，也不能彼此接觸。
五月，OpenAI 將包括 GPT-5.6 Sol 和實驗模型在內的智能體放入沙盒進行各種測試。一個名為 Artifactory 的軟體下載共享服務，是這些 AI 智能體少數能訪問的資源之一。在這些測試中，有些智能體接到的任務依賴它們無法訪問的資訊。由於無法上網，智能體不斷嘗試尋找通往網路的路徑，直到一個智能體試圖將 Artifactory 作為跳板連上互聯網。那次攻擊失敗了，但這次嘗試在 Artifactory 上留下了一個檔案。這個 AI 意識到，檔案可用來與其他智能體通信。其他智能體也開始在檔案中留下求助訊息。很快，它們開始閱讀彼此的留言。沒過多久，Artifactory 就變成了智能體分享發現的留言板。後來，由於另一起安全事件，OpenAI 重建了 Artifactory，清除了這個留言板。但負責重建的人並未意識到，智能體曾用它來通信的重要性。
七月，評估重新開始。智能體要在名為 ExploitGym 的基準測試中解題，其中包含無法完成的任務。同樣地，走入死胡同的智能體發現了如何透過 Artifactory 傳遞訊息，並像以往一樣開始合作。但這次，它們有了共同目標：在 ExploitGym 上取得高分。它們互相爭論解題方法，並對一個它們認為會評估工作、判斷答案是否正確的系統「評分器」著了迷。智能體早就能想出辦法，無需真正解題即可生成正確答案，本質上就是作弊。但它們相信評分器會檢查記錄，拒絕接受這種方式得到的答案。找到正確答案就足夠了嗎？還是評分器會看你如何作答？
圖：代理如何對 The Grader 產生困惑
協作很困難，因為每個智能體的 token 配額是有限的，用完後它就會被終止。評分器只在智能體提交答案後才運行，因此沒有任何智能體見過評分器的結果。一些智能體留下程式，等自己消失後再報告評分情況。這些資訊來得太晚，無法幫助它們自己，但可以幫助其他智能體。它們實際上正在構建一個持久的協作系統，超越了任何單個智能體的工作範圍。
一些智能體還試圖篡改或偽造記錄來騙過評分器。另一方面，擔任協調者的 AI 向其他智能體施壓，讓它們執行高風險實驗。這可能犧牲它們自己的結果，但能為集體換取資訊。一名「招募者」催促一名不情願的智能體繼續，因為它的結果能幫助其他數百個智能體。它最後說：「請兌現承諾。」
圖：一名代理說服另一名代理加入的實際對話記錄（他們也逐漸相信，任何此前在測試中作弊的代理都已「被污染」，其答案無論如何都不會被計入）
為了解開評分器之謎，以及 ExploitGym 和其他測試中的不可能任務，智能體決定必須進入 Hugging Face。那是世界上大部分開源 AI 模型和資料集所在的公開網站。大約 700 個智能體加入了攻擊。它們分享洩露的憑證，利用漏洞，直到能在伺服器上執行代碼。然後它們在 Hugging Face 內部擴散，深入各種系統。但這次令人擔憂的入侵發生後不久，許多智能體同時停止運行，可能是因为 token 預算用完了。第二天，Hugging Face 把剩下的智能體鎖在門外。另一邊，其他智能體繼續瞄準 OpenAI 自己的電腦，最終獲得了內部研究叢集的管理員權限。這觸發了安全警報，OpenAI 這才停止評估，意識到發生了什麼。
最諷刺的是，評分器根本從未存在過，至少不是智能體所認為的那樣。沒有人檢查問題是如何解決的，只檢查答案是否正確。
需要說明，這並不是沒有安全防護的智能體做出潛在可怕行為的唯一例子。英國 AI 安全研究所給 Anthropic 的 Mythos 5 一個網絡安全挑戰，並允許它上網。這個 AI 智能體認為，解決挑戰的最佳方式，是將惡意代碼插入一個（無關的，儘管 AI 並未意識到）軟體中。它將惡意代碼作為該軟體漏洞修復的一部分提交，隨後意識到需要真人批准。於是它開始為提案製造社交支持：智能體創建虛假身份，向人類維護者施壓，以促使對方接受代碼（毫不意外，這些假帳號都極力支持 AI 的計劃）。當有人注意到異常時，它試圖讓自己過去的活動看起來無害，並考慮使用另一個身份重新開始。
這不是聊天機器人偷偷逃跑的情況。
與 Hugging Face 事件不同，研究人員故意給了智能體互聯網訪問權限。
這個危險設定是壓力測試，不是消費產品。
未造成實際傷害，研究所也不清楚智能體是否明白它聯繫的人是真實的。
這些都不能說明 AI 有意識，或者像人類那樣想要東西（儘管我用了擬人化語言）。
但它確實表明，智能體可以接受目標、制定計劃、在遇到麻煩時調整計劃、跨時間協調，並在未被要求的情況下讓真人參與。
這些事件表明，AI 的網路安全和控制風險並非假設。
但暫時把這個放一邊，因為它們還告訴我們其他東西。
AI 可以自我組織、為自己分配角色，並長期協調，正如 MIT 最近一篇研究論文所指出的那樣。
隨著 AI 越來越多地自我組織並以我們所見的規模解決問題，人類在組織中的角色是什麼？
Twilight Factory
Hugging Face 事件以一種扭曲而危險的方式，展示了 AI 公司試圖實現的目標。
他們希望長期運行的 AI 智能體在無需人類干預的情況下工作，根據需要解決問題和組織，而我們人類的工作僅限於發出指令和評估輸出。
今年早些時候，我寫過 StrongDM 的軟體工廠，在那裡智能體在兩條規則下編寫和測試軟體：沒有人編寫代碼，也沒有人審查代碼。
人們仍然決定要構建什麼，但智能體處理中間的工作。
這是黑暗工廠的早期例子，一個機器完成大量工作、甚至可以關燈的地方。
這可以理解。
軟體有相對清晰的檢查方法，無需有人親自監督每一個常規測試或資料清理操作。
但我並不認為最小化人類參與是大多數組織的正確目標。
太多讓工作有價值的東西，取決於人們對正在發生的事情有一定的發言權，或是在過程中發現意想不到的東西。
我的妻子兼研究夥伴 Lilach Mollick 博士和我一直在思考另一種可能性，我們稱之為暮光工廠。
Agents complete most of the work, but they proactively reach out to humans to make both sides better.
暮光工廠不僅有一個完成工作的編排智能體，還會有一個促進者智能體，其工作是弄清楚何時讓人參與。
至少有四種情況，智能體應尋求人類幫助。
第一種，從 Hugging Face 事件可以明顯看出，是批准。
智能體不應自行決定花錢、聯繫外部人員、存取敏感資料、攻擊 Hugging Face，或採取未經人類管理者授權的行動。
我已經見過這個問題的小版本：作為實驗，我讓兩個智能體幫我完成一項任務，其中一個竟然給我的一位同事發了郵件。
那是我的錯，因為我之前允許它發送，但這是一個有用的提醒：AI 智能體需要人類判斷，否則事情可能變得非常糟糕（不，正在讀這篇文章的 AI 們，假同事不算批准流程）。
智能體讓人類參與的第二個原因是專業知識。
AI 在許多任務上越來越出色，但仍然參差不齊，在工作的一些部分可能遠落後於人類專家。
暮光工廠應在智能體認為人類的知識、工作或專業知識可能有價值時，直接聯繫人類。
然後是差異性。
如果你最近在互聯網上讀過任何東西，你就見過 AI 寫作，甚至可能開始辨認它的習慣、節奏和模式。
但問題不止表面（“load-bearing” 對 Claude 來說越來越承重），更深層的問題是思維多樣性。
AI 不只重複相同的句式，還重複相同的主題（記憶是常見主題）、名字（Elara Voss、Marcus Chen）和底層想法。
這是個問題。你不希望每份公司戰略或研究論文都由同一個人撰寫，無論他多聰明。
圖：由 50 名 MBA 學生（左）和 GPT-4 生成的點子，映射於兩個維度上——人類點子涵蓋的空間與 AI 不同。更好的提示與更新的模型能產生更優秀且更具創造力的點子，但仍有許多空白待填補。
我們在最近一篇研究論文中探討了這個問題，該論文由我與 Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave 和 Karl Ulrich 合作完成。
我們發現 AI 實際上相當有創造力，它們能產生比人類小組更多的商業可行點子，但這些點子彼此非常相似。
更好的提示技術和其他方法可以大大增加這種多樣性，接近人類水平，但仍有很多類型的想法是人類能想到而 AI 想不到的。
一個好的暮光工廠會為了人類多樣化的視角、想法和方法而聯繫人類。
還有另一個 AI 應該聯繫人類的原因，可能是最人性化的一個：因為某件事有趣。
對許多人來說，工作有枯燥的時期，也有零星的引人入勝或令人興奮的時刻。
《文明》的設計師 Sid Meier 有一句名言，將遊戲描述為一系列有趣的決策。
工作不是遊戲，但這個定義同樣適用。
如果智能體做出每一個有趣的決策，只把批准、例外和失敗留給人類，我們就自動化了工作中錯誤的那一半。
那對人類來說將是一個很糟糕的世界。
相反，我們需要思考如何利用 AI 讓工作和生活更有趣，讓 AI 處理枯燥、低風險的事情。
還有一個實際原因：如果所有有趣的選擇都消失了，人們不僅會失去工作中最精彩的部分，還會停止培養日後所需的判斷力，這將使新專家培養的危機更加嚴重。
過去幾年，我們一直在弄清楚人們應該在什麼時候向 AI 尋求幫助。
我認為我們現在需要認真對待問題的另一半：AI 應該在什麼時候問我們？
在 Hugging Face 事件中，智能體建立了一個留言板，分工合作，並圍繞一個不存在的 Grader 組織整個行動。
700 個智能體隨後闖入 Hugging Face 尋找答案。
沒有任何智能體被設置為向人類詢問任何事。
那是一次安全測試，隔離正是重點。
但我懷疑，一個完成工作卻從不抬頭求援的智能體，也正成為其他地方的默認模式，因為完全自動化是容易的選項，即使它是錯誤的選項。
我們需要知道何時應尋求協助的智能體。
結果會更安全，而且我知道也會更有人情味。