Microsoft、AIモデルのリスクを警告し、エンタープライズセキュリティ向けにGuardian Agentsを発表

icon币界网
共有
AI summary icon概要
Microsoftは、AI関連の脅威に対抗するため、エンタープライズ向けにGuardian Agentsを提供しました。これはAI + クリプトニュースで報告されています。このツールはProject Perceptionの一部であり、AnthropicのMythosやOpenAIのDaybreakのようなモデルからのリスクを対象としています。Microsoft Defenderには、セキュリティ侵害のシナリオを防ぐためのエージェント検出とアクセス制御が追加されました。高リスクの操作には人間の承認が必要であり、エージェントの権限は制限されています。同社はまた、NVIDIAのOpen Agent Safety Platformに参加し、エージェントを安全な環境に隔離しています。CEOのサティア・ナデラは、サプライヤーの主張にかかわらず、独立した監視システムの必要性を強調しました。
CoinMarketCapが報道:

IT之家 10月20日消息,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业应对日益严峻的智能体安全威胁。在发布该产品之际,微软持续向企业警示人工智能与智能体所存在的各类风险。

IT之家は、今回の新機能の中で最も注目されているのがガーディアンエージェント(Guardian Agents)であることに注目した。この新機能は、企業内での利用が進むさまざまなAIエージェントを監視するために使用される。ガーディアンエージェントは、マイクロソフトが6月に発表したプロジェクト・パーセプション(Project Perception)に属している。

感知プロジェクトは、AnthropicのMythos、Fableなどの強力なハッキングモデルおよびOpenAIのセキュリティ脆弱性スキャンシステムDaybreakに対する対応策である。感知プロジェクトは当初、紅隊エージェント(ハッキング役を演じて攻撃を実施)、藍隊エージェント(紅隊の攻撃を検出・脆弱性を評価)、および緑隊エージェント(脆弱性を修復専門)の3種類のエージェントを導入した。

この製品の当初の設計前提は、AIハッカーが企業の外部から発生することであった。しかし最近、マイクロソフトのCEOであるサティア・ナデラは、AIレベルでの脅威の源が、企業自体が導入・有料で利用しているエージェントである可能性があると警告した。これは、行動が制御不能になった内部従業員、すなわち一般的に「内部脅威」と呼ばれるものである。

今月の初め、ナドラは個人ブログで警告を発し、AIモデルベンダーを信頼するのをやめるべき時が来たと述べた。たとえベンダーが自社の自律実行機能を持つエージェント製品に対してセキュリティ保証を提供したとしてもである。彼は、企業がAIラボの管理から独立したシステムを構築し、そのAIラボが展開するエージェントを監督・管理することを提案した。

彼は次のように述べている。「私たちは、最も機密性の高いデータにアクセスでき、重要なビジネス操作を代行できるような複雑なエージェントシステムとモデルを導入しています。エージェントが私たちに代わって行動する責任を外部に委託することは絶対にできません。モデルベンダーが提供する保証では、この責任を免れることはできません……言い換えれば、エージェントの能力供給とその管理権限を分離する必要があります。」

守护エージェントの紹介において、マイクロソフトセキュリティ事業責任者のハイエテ・ガロットはより率直に述べた。

彼女は「残念ながら、フロントラインモデルはその出所がどこであれ、完全に信頼することはできません」と記しています。彼女は、これはモデル自体が悪意を持っていたり、ハッキングされやすいためではなく、その行動が予測不可能であるためであると補足しました。モデルの訓練目的は、組織の規範や判断基準を守ることではなく、タスクを完了することです。

さらに、これらのエージェントは高い権限を有し、さまざまなデータやツールにアクセスできるため、制御を失った場合、深刻な被害をもたらす可能性があります。

マイクロソフトが提供するこのソリューションは、予想外であると同時に、自社の商業的配慮も含んでいる。予想外な点は、マイクロソフトがOpenAIおよびAnthropicと密接な関係にあり、両企業に投資していることである。OpenAIはマイクロソフトのクラウド事業の大口顧客であり、マイクロソフト自身も大規模モデルの開発を行うAIラボを設置している。つまり、マイクロソフトは顧客に対して、自社の一部の商業パートナーの製品に対して警戒心を抱かせているのである。

一方で、ビジネス的利益の観点から、マイクロソフトは企業がAnthropicやOpenAIからエージェントセキュリティ製品を購入するのではなく、自社のクラウドサービスから購入することを望んでいます。利益相反を除けば、この論理自体は妥当です。エージェントの行動を監視するソフトウェアは、エージェントの提供元とは独立しているべきであり、監査機関が監査対象の組織から独立している必要があるのと同じです。

ナドラが述べたように、「私たちは、知的機能の供給とその管理権限を分離する必要があります。」

マイクロソフトは、このビジネス機会を複数の方法で捉えています。Defender Agentに加え、マイクロソフトはMicrosoft Defender製品にエージェント検出機能を追加し、従業員が職場に持ち込む最大60種類のエージェントを識別可能になりました。これにはClaude Code、Codex、OpenClawが含まれます。また、製品にはエージェントのデータおよびシステムへのアクセス権を制限し、タスクに応じてエージェントの権限を動的に調整する機能も追加されました。エージェントが高リスク操作を実行しようとした場合、システムは人間による承認を要求します。

エージェントを信頼できない内部脅威と見なすという考え方は、業界全体で徐々に合意が形成されています。

マイクロソフトは、100社以上のテクノロジー企業から支持を得ている、NVIDIAの新規オープンエージェントセーフティプラットフォームの創設メンバーです。このプラットフォームは、エージェントを安全な環境に隔離し、ハードウェアによる監視と異常行動の停止機能を備えており、緊急停止スイッチのような役割を果たします。これ以前に、マイクロソフトはNVIDIAチップを搭載し、エージェントセーフティコントロールモジュールを内蔵した新製品Surface Laptop Ultraを発表しています。

免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。