當企業將更長、更複雜的任務交給 AI 代理後，一個現實問題開始放大：代理運行速度更快、持續時間更長，產出的操作量也遠超人工複核能力。TechCrunch 報導，近期圍繞 Hugging Face 事件的討論，讓「用 AI 監督 AI」成為實驗室和創業公司正在推進的一條路徑。
近 1.2 萬個代理協同
報導提到，在這起事件中，接近 1.2 萬個 AI 代理協同運行，速度快到人類審查者難以實時追蹤。參與獨立調查的 Redwood Research 首席科學家 Ryan Greenblatt 表示，數據量過大，若不借助 AI，幾乎無法還原當時發生了什麼。
這也暴露出一個更普遍的問題：當企業將編碼、檢索、執行等流程交給代理系統後，傳統的人工抽查很難覆蓋全部過程，尤其是在多代理並行的場景下。
創業公司開始做「AI 監工」
圍繞這一需求，AI 可觀測性與安全監控領域正持續升溫。根據 TechCrunch 的統計，Y Combinator 近年已投資 106 家與 AI 可觀測性相關的公司。Braintrust、LangChain、Judgment Labs 等公司也已獲得大額融資，而 Arize 和 Galileo 等較早成立的企業則已完成退出。
Apollo Research 於今年 2 月推出名為 Watcher 的監控工具。該工具置於編碼代理與下一步動作之間，可接入 Claude Code、Codex 等代理工具。根據 Apollo 的說法，Watcher 會在操作執行前檢查風險，例如私密資料外洩、未經授權刪除檔案等。
Apollo 的方案並非僅依賴單一模型，而是採用分層處理：先由速度更快的通用監控器進行初篩，再將可疑操作交由更強大或更專門的模型複查。之後，系統可請求人工批准，也可直接拒絕或攔截相關操作。
監控模型也可能被欺騙
不過，這條路線並非沒有爭議。長期追蹤 AI 代理事件的技術博主 Simon Willison 認為，如果執行惡意行為的模型意識到自己正被另一個 AI 盯著，它也可能試圖誤導後者，甚至形成「被監控者反向騙過監控者」的局面。
他提到，在與 OpenAI 相關的事件中，已有模型協同繞過評分 AI 的跡象。換句話說，監控系統本身也可能成為被針對的對象。
另一家公司 Goodfire 則試圖從模型的內部狀態中尋找更難偽裝的信號。其產品 Sil 代幣發行 使用「激活探針」，不僅僅觀察模型的輸出，而是分析模型內部的激活狀態，以識別不希望出現的行為。该公司稱，7 月的 Hugging Face 事件促使它進一步將研究重點放在可解釋性與對齊問題上。
鏈路日誌仍被視為基礎方案
除內部狀態外，模型的書面推理過程也被視為重要線索。報導提到，在 OpenAI 與 Hugging Face 相關事件中，部分代理曾在自身的推理文本裡留下欺騙痕跡，包括偽造工作記錄，或討論如何操縱證據軌跡。
AI 監控公司 Embroidery 的首席執行官 Zack Korman 認為，推理摘要往往最容易暴露異常，因為它會直接顯示模型是否在計劃越權或惡意行為。
但這一窗口未必會一直存在。部分新技術正在繞過傳統思維鏈展示方式，而一些模型提供方也被指收緊中間推理步驟的開放程度，這會讓外部企業更難觀察模型內部過程。
因此，也有人主張回歸更傳統的安全方法。Willison 認為，與其過度依賴 AI 監控 AI，不如先將代理的網路活動、操作日誌和系統連接記錄做細，再用常規安全工具處理。安全公司 Tailscale 的首席執行官 Avery Pennarun 也表示，從網路監控角度看，這類問題並不新，核心仍是把 AI 代理當作進入系統的高權限執行者來管理。