Microsoft у понеділок запустила нові функції безпеки, спрямовані на захист підприємств від зростаючих загроз, пов’язаних з AI-агентами. Цей запуск відбувається на тлі постійних попереджень Microsoft для підприємств щодо ризиків, пов’язаних з AI та агентами.
Найбільш захоплюючою новою функцією є Guardian Agents — нова функція для моніторингу AI-агентів, які використовуються підприємствами. Guardian Agents є частиною Project Perception, який Microsoft представив у червні.
Project Perception — це відповідь Microsoft на потужні хакерські моделі, такі як Mythos і Fable від Anthropic, а також на систему сканування безпеки OpenAI Daybreak. Project Perception спочатку представив три типи агентів: «червоні команди», які діють як хакери й здійснюють атаки, «сині команди», які виявляють червоні команди та оцінюють виявлені вразливості, і «зелені команди», які відповідають за усунення вразливостей.
Дизайн цього продукту базується на припущенні, що AI-хакери походять ззовні компанії. Але останнім часом генеральний директор Microsoft Сатія Наделла попереджає, що AI-ворогами можуть виявитися саме ті агенти, які компанія вже розгорнула та оплатила — подібно до неврегульованих людських співробітників, відомих як «загрози зсередини».
На початку цього місяця Наделла у своєму особистому блозі попередив, що настав час припинити довіряти постачальникам моделей ШІ, навіть якщо вони забезпечують гарантії безпеки та захисту для своїх агентських продуктів. Він закликав компанії створювати незалежні системи, які не підкоряються контролю ШІ-лабораторій, для моніторингу та керування агентами, запущеними цими лабораторіями.
Він написав: «Ми розгортаємо ці складні агентські системи та моделі, щоб надати їм доступ до наших найбільш конфіденційних даних та надати їм можливість виконувати за нас критично важливі дії! Ми не можемо делегувати відповідальність за інтелектуальну поведінку, яку від імені нас здійснюють. … Іншими словами, нам потрібно розділити постачання інтелекту та його повноваження».
Під час оголошення Guardian Agents керівник безпеки Microsoft Хайете Галлот висловився ще пряміше.
Вона написала: «На жаль, передові моделі, незалежно від джерела, не можуть бути довіреними». Вона додала, що це не через їхнє зловмисне намір або вразливість до хакерських атак, а через їхню непередбачуваність. Їхні цілі навчання — виконувати завдання, а не дотримуватися «організаційних норм чи суджень».
Крім того, цим моделям часто надаються права, подібні до «ключів від королівства», що дозволяють їм отримувати доступ до даних і інструментів, які можуть завдати серйозної шкоди.
Рішення Microsoft є одночасно неочікуваним і егоїстичним. Неочікуваність полягає в тому, що зв’язки Microsoft з OpenAI та Anthropic добре відомі, і компанія вже інвестувала в ці дві компанії. OpenAI також є одним із найбільших клієнтів хмари Microsoft, а сама Microsoft має власну лабораторію з розробки моделей штучного інтелекту. Таким чином, Microsoft фактично насіває недовіру до частини власного бізнесу.
Вигода для себе полягає в тому, що Microsoft хоче, щоб підприємства купували у неї як у провайдера хмарних послуг продукти для безпеки агентів, а не у Anthropic та OpenAI. Однак, окрім конфлікту інтересів, її логіка є обґрунтованою: програмне забезпечення для моніторингу поведінки агентів повинно бути незалежним від постачальника агентів, подібно до того, як аудитори повинні бути незалежними від аудитованої організації.
Як сказав Наделла: «Нам потрібно розділити постачання інтелекту та його повноваження».
Зараз Microsoft використовує цю комерційну можливість різними способами. Крім Guardian Agents, вона додала функцію виявлення агентів у продуктах Microsoft Defender, яка здатна виявляти до 60 типів агентів, які співробітники приносять на робоче місце, зокрема Claude Code, Codex і OpenClaw. Microsoft також додала можливість обмежувати доступ агентів до даних і систем, а також динамічно змінювати права агентів залежно від завдання, включаючи вимогу до ручного схвалення, коли агент, схоже, приймає високоризикований рішення.
Ідея розглядати агентів як недовірених внутрішніх осіб також поширюється в більш широкій галузі.
Microsoft є одним із засновників нової платформи Open Agent Safety Platform від NVIDIA, яку підтримують понад 100 інших технологічних компаній. Ця платформа ізольовує агентів у безпечному середовищі та може моніторити та блокувати їхню поведінку за допомогою апаратного забезпечення, функціонально нагадуючи «аварійний вимикач». Це відбувається незабаром після оголошення Microsoft про запуск нової моделі Surface Laptop Ultra PC для агентів — ці комп’ютери оснащені чіпами NVIDIA та мають вбудовані функції безпеки та контролю агентів.