Anthropic 剛為其 AI 助手配備了一雙手。Claude 現在可直接控制 macOS 應用程式,執行滑鼠點擊、鍵盤輸入和螢幕截圖,並在後台靜默運行,讓用戶能繼續做自己的事。
此功能僅供 Pro 和 Max 訂閱用戶透過 Claude 桌面應用程式使用,是朝向不僅能談論工作、更能實際執行工作的 AI 代理所邁出的最具體的一步之一。
它是如何實際運作的
此新功能適用於 macOS 15(Sequoia)及更高版本,預設以背景模式運行。Claude 不會佔用您的滑鼠和鍵盤,而是在獨立視窗中運行,讓您能正常繼續使用電腦。
當給定應用程式無法使用傳統的 API 連接器時,Claude 會轉而使用螢幕截圖和輸入模擬來完成任務。它能讀取螢幕上的內容,判斷點擊位置,並在欄位中輸入回應,基本上模擬了人類與未針對 AI 整合設計的軟體互動的方式。
該系統運行於兩個情境中:Claude Cowork 專注於一般生產力任務,而 Claude Code 則專注於開發工作流程。兩者均利用相同的底層電腦控制架構,但針對不同的使用情境進行了優化。
此外,還有一項移動端 Dispatch 功能,讓用戶可遠端指派任務。從手機啟動任務,Claude 便會在您的 Mac 上處理。
權限與安全防護
系統在每個會話的首項任務中,Claude 執行任何操作前均需取得用戶明確許可。在敏感操作前會顯示隱私權提示,應用程式層級的權限讓用戶能精細控制 Claude 可與不可存取的內容。
初次推出僅限付費個人方案,團隊和企業訂閱等級尚未開放使用。
Anthropic 自身也承認的一個誠實限制是:Claude 在執行複雜的桌面任務時,速度比人類慢。這款 AI 對每項互動都採取系統性且謹慎的方式,先讀取螢幕內容,規劃操作,然後逐步執行。
從測試實驗到上線產品
這項發佈並非憑空出現。Anthropic 最早在 2024 年 10 月以 Beta 版本形式透過 Computer Use API 引入了電腦控制功能,並與 Claude 3.5 Sonnet 搭配推出。該版本主要作為概念驗證,目標對象為希望試驗代理工作流程的開發者。
這對 AI 代理競賽意味著什麼
目前的限制是真實的。慢於人類的執行速度意味著這並不能一夜之間取代任何人的工作流程。它更適合用於重複性、高頻率的任務,而非需要即時響應的任務。背景模式的設計也意味著 Claude 無法與您正在積極操作的內容互動——它僅限於自己的視窗內運行。
目前,此功能僅限 macOS 15 或更高版本的個人付費訂閱用戶使用,尚未公布團隊版或企業版的上線時間。
