微軟警告 AI 模型風險,並推出 Guardian Agents 以加強企業安全

icon币界网
分享
AI summary icon精華摘要
根據 AI + 加密貨幣新聞報導,微軟已推出 Guardian Agents,協助企業應對與 AI 相關的威脅。該工具屬於 Project Perception 的一部分,針對 Anthropic 的 Mythos 和 OpenAI 的 Daybreak 等模型所帶來的風險。Microsoft Defender 現已納入代理偵測與存取控制功能,以防止安全漏洞情境。高風險操作需經人工批准,且代理權限受到限制。微軟亦加入 NVIDIA 的 Open Agent Safety Platform,將代理程式隔離於安全環境中。執行長 Satya Nadella 強調,無論供應商如何聲稱,都需要獨立的監控系統。
幣界網報導:

IT之家 10 月 20 日消息,微軟於當地時間週一推出了多項全新安全功能,旨在協助企業抵禦日趨嚴重的智能體安全威脅。在發布此產品之際,微軟持續向企業警示人工智能與智能體所帶來的各類風險。

IT之家注意到,本次新增功能中最受關注的當屬守護智能體(Guardian Agents),這項新功能用於監控企業內部正在使用的各類 AI 智能體。守護智能體隸屬於感知項目(Project Perception),感知項目是微軟在 6 月推出的產品。

感知項目是微軟針對 Anthropic 的 Mythos、Fable 等強大黑客模型,以及 OpenAI 的安全漏洞掃描系統破曉(Daybreak)所提出的應對方案。感知項目最初上線了三類智能體:扮演黑客角色實施攻擊的紅隊智能體,負責偵測紅隊攻擊、評估漏洞的藍隊智能體,以及專門修復漏洞的綠隊智能體。

該產品最初的設計前提是,AI 黑客會來自企業外部。但近期,微軟首席執行官薩提亞·納德拉(Satya Nadella)發出警告,AI 層面的威脅源頭,有可能正是企業自身部署、付費使用的智能體,就像一名行為失控的內部員工,也就是常說的「內部威脅」。

本月初,納德拉在其個人部落格中提出警示:是時候不再信任 AI 模型供應商,即使廠商為其具備自主執行能力的智能體產品做出安全保障承諾。他建議企業搭建獨立系統,這套系統不受 AI 實驗室管控,用以監督和管控這些人工智慧實驗室推出的产品所對應的智能體。

他寫道:「我們正在部署這類複雜的智能體系統與模型,它們可以存取我們最敏感的資料,還能代表我們執行關鍵業務操作!我們絕不能將智能體代我們行事的責任外包出去。模型供應商所提供的保證,並不能免除我們的這份責任……換言之,我們需要將智能能力的供給,和對它的管控權限分離開。」

在介紹守護智能體時,微軟安全業務負責人海耶特·加洛(Hayete Gallot)的表述更為直白。

她寫道:「遺憾的是,前沿模型無論來源為何,都無法完全信任。」她補充,這並非因為模型本身具有惡意或容易被駭客攻破,而是其行為具有不可預測性。模型的訓練目標是完成任務,而非遵守「組織規範或判斷準則」。

In addition, these agents often hold high-level permissions and can access various data and tools; if they go out of control, they can cause serious damage.

微軟提供的這套解決方案,既出人意料,也帶有自身的商業考量。令人意外的一點在於,微軟與 OpenAI、Anthropic 關係密切,同時對這兩家公司均有投資。OpenAI 也是微軟雲業務的大客戶,微軟自身也設有 AI 實驗室研發大模型。也就是說,微軟正在讓客戶對自己部分商業合作夥伴的產品產生警惕。

從商業利益的角度來看,微軟希望企業從其雲服務提供商處購買智能體安全產品,而非向 Anthropic 和 OpenAI 採購。拋開利益衝突不談,這套邏輯本身是站得住腳的:監控智能體行為的軟體,應當與智能體的提供方相互獨立,就像審計機構需要獨立於被審計的組織。

正如納德拉所說:「我們需要將智能能力的供給,和對它的管控權限分離開。」

微軟正透過多種方式把握這一商業機遇。除了守護智能體之外,微軟還在 Microsoft Defender 產品中新增智能體檢測功能,最多可識別員工帶入工作環境的 60 種智能體,包括 Claude Code、Codex 和 OpenClaw。產品同時新增功能,可限制智能體對數據和系統的存取權限,並根據任務動態調整智能體權限。若智能體即將執行高風險操作,系統將要求人工審批。

將智能體視為不可信任的內部威脅這一思路,也正在整個行業逐步形成共識。

微軟是英偉達全新開放智能體安全平台(Open Agent Safety Platform)的創始成員,該平台已獲得超過 100 家科技企業支持。該平台將智能體隔離在安全環境中,透過硬體監測並終止異常行為,功能類似緊急切斷開關。在此之前,微軟已發布專為智能體打造的新款 Surface Laptop Ultra 筆記型電腦,設備搭載英偉達晶片,內建智能體安全管控模組。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。