В понедельник Microsoft представила новые функции безопасности, направленные на защиту предприятий от растущих угроз, связанных с ИИ-агентами. Этот выпуск происходит на фоне постоянных предупреждений Microsoft для предприятий о рисках, связанных с ИИ и агентами.
Самой заметной новой функцией являются Guardian Agents — новая функция для мониторинга AI-агентов, используемых предприятиями. Guardian Agents являются частью Project Perception, который Microsoft представил в июне.
Project Perception — это ответ Microsoft на мощные хакерские модели, такие как Mythos и Fable от Anthropic, а также на систему сканирования уязвимостей безопасности OpenAI Daybreak. Project Perception изначально представил три типа агентов: «красная команда», действующая как хакеры и проводящая атаки, «синяя команда», обнаруживающая красную команду и оценивающая выявленные уязвимости, а также «зеленая команда», отвечающая за устранение уязвимостей.
Дизайн этого продукта основан на предположении, что AI-хакеры придут извне компании. Однако недавно генеральный директор Microsoft Сатья Наделла предупреждал, что AI-врагами могут стать сами агенты, которые компании уже развернули и оплатили, подобно неконтролируемым человеческим сотрудникам — так называемым «внутренним угрозам».
В начале этого месяца Наделла предупредил в своем личном блоге, что пришло время перестать доверять провайдерам моделей ИИ, даже если они предоставляют гарантии безопасности и защиты своих агентских продуктов. Он призывает компании создавать независимые системы, не подконтрольные лабораториям ИИ, для мониторинга и управления агентами, запущенными этими лабораториями ИИ.
Он написал: «Мы развертываем эти сложные агентные системы и модели, чтобы они получали доступ к нашим самым чувствительным данным и получали возможность действовать от нашего имени в критически важных задачах! Мы не можем делегировать ответственность за интеллектуальное поведение, которое мы совершаем. … Другими словами, нам нужно разделить поставку интеллекта и его полномочия».
При объявлении Guardian Agents руководитель подразделения кибербезопасности Microsoft Хайете Галлот выразился более прямо.
Она написала: «К сожалению, передовые модели, независимо от источника, не могут быть доверены». Она добавила, что это не потому, что они вредоносны или подвержены хакерским атакам, а потому, что они непредсказуемы. Их цель обучения — выполнение задач, а не соблюдение «организационных норм или суждений».
Кроме того, этим моделям часто предоставляются права, подобные «ключам от королевства», позволяющие получить доступ к данным и инструментам, которые могут причинить серьезный ущерб.
Решение Microsoft и неожиданно, и эгоистично. Неожиданность заключается в том, что отношения Microsoft с OpenAI и Anthropic широко известны как тесные, и Microsoft уже инвестировала в эти компании. OpenAI также является одним из крупнейших клиентов облачных сервисов Microsoft, а у самой Microsoft есть собственная лаборатория по разработке моделей ИИ. Таким образом, Microsoft фактически закладывает основы недоверия к части собственного бизнеса.
Преимущество для себя заключается в том, что Microsoft хочет, чтобы компании покупали у нее как у провайдера облачных услуг продукты для безопасности агентов, а не у Anthropic и OpenAI. Однако, отложив в сторону конфликт интересов, ее логика обоснована: программное обеспечение для мониторинга поведения агентов должно быть независимым от поставщика агентов, как аудиторы должны быть независимыми от аудируемых организаций.
Как сказал Наделла: «Нам нужно разделить поставку интеллекта и его права».
Сейчас Microsoft использует эту коммерческую возможность множеством способов. Помимо Guardian Agents, она добавила функцию обнаружения агентов в продукты Microsoft Defender, способные выявлять до 60 типов агентов, которые сотрудники привносят на рабочее место, включая Claude Code, Codex и OpenClaw. Microsoft также добавила функции ограничения доступа агентов к данным и системам и динамически регулирует права агентов в зависимости от задачи, включая требование ручного одобрения, когда агент, похоже, принимает высокорисковые решения.
Идея рассматривать агентов как недоверенных внутренних сотрудников также становится все более популярной в более широкой отрасли.
Microsoft является одним из основателей новой платформы Open Agent Safety Platform от NVIDIA, которую поддержали более 100 других технологических компаний. Эта платформа изолирует агентов в безопасной среде и может мониторить и блокировать их действия с помощью аппаратного обеспечения, функционально напоминая «аварийный выключатель». Это следует за ранее объявленным Microsoft выпуском новых Surface Laptop Ultra ПК для агентов, оснащенных чипами NVIDIA и встроенными функциями безопасности и контроля агентов.