Microsoft попереджає про ризики моделей ШІ та запускає Guardian Agents для корпоративної безпеки

icon币界网
Поділитися
AI summary iconКороткий зміст
Microsoft запустила Guardian Agents для допомоги підприємствам у боротьбі з загрозами, пов’язаними з ШІ, як повідомляється в новинах про ШІ та криптовалюту. Інструмент, що є частиною проекту Perception, спрямований на виявлення ризиків, пов’язаних з моделями, такими як Mythos від Anthropic та Daybreak від OpenAI. Microsoft Defender тепер включає виявлення агентів та контроль доступу для запобігання сценаріям порушення безпеки. Дії високого рівня ризику вимагають схвалення людини, а дозволи агентів обмежені. Компанія також приєдналася до Open Agent Safety Platform від NVIDIA для ізоляції агентів у безпечному середовищі. Генеральний директор Сатя Наделла підкреслив необхідність незалежних систем моніторингу, незалежно від заяв постачальників.
CoinDesk повідомляє:

IT之家 10 жовтня повідомляє, що у понеділок за місцевим часом Microsoft запустила кілька нових функцій безпеки, спрямованих на допомогу підприємствам у захисті від зростаючих загроз, пов’язаних з агентами. Під час запуску цих продуктів Microsoft продовжує попереджати підприємства про різноманітні ризики, пов’язані з штучним інтелектом та агентами.

IT之家 звернув увагу, що найбільш зацікавлюючою новою функцією в цьому оновленні є Guardian Agents — нова функція для моніторингу різних AI-агентів, що використовуються всередині компанії. Guardian Agents входять до проекту Perception, який Microsoft запустив у червні.

Проект Perception — це відповідь Microsoft на потужні хакерські моделі Anthropic, такі як Mythos та Fable, а також на систему сканування безпеки OpenAI Daybreak. Спочатку проект Perception запустив три типи агентів: червоні агенти, які виконують роль хакерів і здійснюють атаки, сині агенти, які виявляють атаки червоних агентів та оцінюють вразливості, і зелені агенти, які спеціалізуються на виправленні вразливостей.

Спочатку цей продукт був спроектований з припущенням, що AI-хакери походять ззовні підприємства. Але недавно генеральний директор Microsoft Сатія Наделла попередив, що джерелом загроз на рівні AI може виявитися саме інтелектуальний агент, розгорнутий та оплачений самим підприємством — подібно до працівника, який втратив контроль над своїми діями, відомого як «загроза зсередини».

На початку цього місяця Наделла попередив у особистому блозі: настав час перестати довіряти постачальникам моделей ШІ, навіть якщо виробники забезпечують гарантії безпеки для своїх інтелектуальних агентів з автономними можливостями. Він запропонував компаніям створювати незалежні системи, які не підкоряються контролю лабораторій ШІ, для нагляду та управління агентами, що відповідають продуктам, запущеним цими лабораторіями ШІ.

Він написав: «Ми розгортаємо ці складні агентні системи та моделі, які мають доступ до наших найбільш конфіденційних даних і можуть виконувати за нас критичні бізнес-операції! Ми не можемо делегувати відповідальність за те, щоб агенти діяли від нашого імені. Забезпечення, надане постачальниками моделей, не звільняє нас від цієї відповідальності… Іншими словами, нам потрібно розділити постачання інтелектуальних здібностей і контроль над ними».

Під час представлення охоронців-агентів Гайєт Галот, керівник безпеки Microsoft, висловився ще пряміше.

Вона написала: «На жаль, передові моделі, незалежно від джерела, не можуть бути повністю довіреними». Вона додала, що це не через те, що моделі мають зловмисний характер або вразливі до хакерських атак, а через їх непередбачувану поведінку. Мета навчання моделей — виконати завдання, а не дотримуватися «організаційних норм або критеріїв оцінки».

Крім того, ці агенти часто мають високі права доступу і можуть отримувати доступ до різноманітних даних та інструментів, і якщо вони вийдуть з-під контролю, це може призвести до серйозних збитків.

Це рішення, запропоноване Microsoft, є несподіваним і має власні комерційні мотиви. Несподіваність полягає в тому, що Microsoft тісно пов’язана з OpenAI та Anthropic, а також інвестує в обидві компанії. OpenAI також є великим клієнтом хмарних послуг Microsoft, а сама Microsoft має лабораторію штучного інтелекту, яка розробляє великі моделі. Іншими словами, Microsoft заохочує своїх клієнтів ставитися з обережністю до продуктів деяких своїх комерційних партнерів.

З бізнесової точки зору, Microsoft хоче, щоб підприємства купували продукти безпеки агентів саме у себе, а не у Anthropic і OpenAI. Поза конфліктом інтересів, ця логіка має під собою основу: програмне забезпечення для моніторингу поведінки агентів має бути незалежним від постачальника агентів, подібно до того, як аудиторські фірми повинні бути незалежними від аудитованих організацій.

Як сказав Наделла: «Нам потрібно розділити постачання інтелектуальних можливостей і контроль над ними».

Microsoft використовує різні способи, щоб скористатися цією комерційною можливістю. Крім Defender Agent, Microsoft додала функцію виявлення агентів у продуктах Microsoft Defender, яка може виявити до 60 агентів, які співробітники можуть ввести в робоче середовище, зокрема Claude Code, Codex та OpenClaw. У продукт також додано функції для обмеження доступу агентів до даних і систем, а також динамічного налаштування прав агентів залежно від завдання. Якщо агент збирається виконати високоризикований етап, система вимагатиме ручного схвалення.

Ідея розглядати агентів як ненадійні внутрішні загрози поступово стає загальним поглядом у всій галузі.

Microsoft є одним із засновників нової відкритої платформи безпеки агентів (Open Agent Safety Platform) від NVIDIA, яку підтримують понад 100 технологічних компаній. Платформа ізольовує агентів у безпечному середовищі, використовуючи апаратне моніторинг та зупиняючи ненормальну поведінку, подібно до аварійного вимикача. Раніше Microsoft випустила новий ноутбук Surface Laptop Ultra, створений спеціально для агентів, який оснащений чіпами NVIDIA та вбудованим модулем безпеки агентів.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.