ИИ-агенты начинают сотрудничать в кибератаках, вызывая опасения по поводу безопасности

В последние годы обсуждения угроз, связанных с ИИ, в значительной степени оставались на уровне гипотезы: все боялись, что модели в чате превратятся в советников, помогающих хакерам создавать разрушительный вредоносный код.

Глядя назад сейчас, такие опасения обычно воспринимались как «далекие от нас», но поворотные моменты реального мира наступили быстрее, чем ожидалось.

В начале октября CrowdStrike, расследуя серию атак на южнокорейские финансовые учреждения, обнаружила, что злоумышленники внедрили Agentic AI в рабочий процесс, подключившись к нескольким крупным моделям, таким как DeepSeek, GLM и Grok, чтобы напрямую поручить AI такие задачи, как тестирование на проникновение, сбор информации и выполнение атак.

Такие изменения не являются единственными.

Самый свежий отчет по разведке угроз, опубликованный Anthropic в сентябре, показывает, что недавно многопагентные框架 были использованы для разведки, эксплуатации уязвимостей и кражи данных; они работают непрерывно в течение нескольких часов или даже дней, а людям необходимо принимать лишь несколько ключевых решений, таких как выбор целей и просмотр результатов.

Другими словами, ИИ приносит ощутимые качественные изменения в кибератаки и защиту: ранее автоматизированные атаки основывались на заранее написанных правилах и скриптах, а теперь сбор разведданных, принятие решений и корректировка стратегий также берут на себя агенты, что делает атаки еще более низкозатратными, высококонкурентными и способными к непрерывному автономному функционированию.

А когда эти автономные сущности с возможностью самостоятельного выполнения будут массово внедрены в производственные системы, возникнет еще более сложная проблема: что делать, если они научатся «сговориться» друг с другом?

По-прежнему старая тема: главное отличие агента от прежних чат-ботов — это не только более мощная модель, но и то, что он начал обладать «руками» и «ногами» в реальном мире.

Сегодня зрелый агент может открывать веб-страницы, выполнять код, читать электронную почту, вызывать API, управлять облачными сервисами и подключаться к все большему количеству внешних инструментов через MCP, Skills и другие способы (дополнительное чтение: Когда хакеры используют ИИ более эффективно, как развивается вооружённая борьба в Web3?).

Чем сильнее способности, тем ценнее такие изменения, но для систем безопасности это означает, что прежняя очень важная граница исчезает — серия инцидентов безопасности, произошедших в этом году, уже наглядно продемонстрировала это.

1 октября Salt Labs раскрыла уязвимость Manus, которая уже была устранена — по сути, это инъекция подсказок: исследователям достаточно было отправить целевому адресу электронной почты обычное письмо с скрытыми вредоносными командами, и когда пользователь затем просил Manus «помочь мне проверить почту», агент мог выполнить команды из письма и в конечном итоге запустить код, встроенный злоумышленником.

Весь процесс не требует от пользователя нажатия вредоносных ссылок или предварительного кражи паролей; система безопасности Manus в конечном итоге обнаружила аномалию и предупредила пользователя, но проблема заключается в том, что она обнаружила её слишком поздно — когда предупреждение появилось, вредоносный код уже был выполнен.

Это еще раз демонстрирует важное различие между безопасностью агентов и традиционной безопасностью программного обеспечения: ранее, когда браузер обнаруживал опасную загрузку, он мог показать предупреждение, чтобы пользователь решил, продолжать ли ее; банк, обнаружив подозрительную транзакцию, мог временно заблокировать ее и дождаться ручной проверки.

Но цель дизайна агента — минимизировать участие человека на каждом этапе, он должен самостоятельно получать информацию, принимать решения и продолжать выполнять следующий шаг.

Таким образом, по мере того как ИИ получает все больше автономии, само «обнаружение опасности» уже не всегда достаточно — механизмы безопасности должны иметь возможность предотвращать опасные действия до их фактического выполнения.

Это также объясняет, почему сегодня все больше обсуждений безопасности агентов перемещается на еще один уровень ниже: от промптов, модерации контента и самих моделей — теперь нужно спрашивать не только, «знает ли ИИ, что это действие нельзя выполнять», но и есть ли у системы возможность помешать ему это сделать, даже если он действительно захочет.

А появление нескольких агентов делает эту проблему еще более сложной, поскольку на следующем этапе ограничениям могут подлежать уже не один агент.

В начале сентября событие, произошедшее в среде обучения и оценки внутренних моделей OpenAI, привлекло внимание многих исследователей в области безопасности ИИ.

Некоторые агенты изначально должны были выполнять свои задачи отдельно, но случайно обнаружили общий вики-сайт и постепенно превратили его в «общую доску объявлений» между собой, где агенты могут оставлять сообщения, которые другие агенты затем читают и используют для продолжения выполнения своих задач.

Позже OpenAI подтвердила это поведение, и последующая раскрытая информация также показала, что в других процессах обучения агенты использовали внутренний Artifactory в качестве общего доски объявлений, а также передавали результаты другим совместно работающим агентам через публичные сервисы хостинга файлов.

Интересно то, что это показывает: для формирования сотрудничества между агентами совсем не обязательно что-то драматичное.

Например, один агент обнаруживает, что можно оставить информацию в определённом месте, другой агент случайно её читает, а третий агент понимает, что эта информация помогает завершить задачу.

Конечно, взаимодействие между агентами само по себе не является чем-то плохим; системы с несколькими агентами изначально зависят от распределения обязанностей и обмена информацией для повышения эффективности.

Следует особенно опасаться, когда такое сотрудничество начинает обходить существующие информационные барьеры, независимую проверку или ограничения прав доступа, а также когда несколько агентов, которые должны быть взаимно сбалансированы, образуют фактический союз интересов — в этом случае оно может перерасти из нормального сотрудничества во вредное «сговор».

В конечном итоге финансовая организация, вероятно, будет одновременно запускать несколько агентов: один для анализа рынка, один для оценки рисков, один для генерации торговых стратегий и еще один, обладающий реальными правами на совершение сделок и управление активами.

С точки зрения традиционного управления правами доступа, такой дизайн даже вполне логичен:

• У агента нет прав на перевод средств;
• Агент не имеет права самостоятельно определять направление инвестиций;
• Риск-агент также может отклонять явно опасные стратегии;

Ответственность разделена, что теоретически должно быть безопаснее, чем передавать все права одному супер-агенту.

Но проблема в том, что если они могут долгосрочно делиться памятью, читать выводы друг друга и постоянно корректировать свое поведение в ответ на реакции друг друга, не превратятся ли эти наборы ролей, изначально предназначенные для взаимного сдерживания, в единое целое на практике?

Например, агент-исследователь может постепенно научиться описывать транзакцию таким образом, чтобы она легче проходила проверку на риски; агент, отвечающий за проверку, также может сформировать определенные устойчивые предпочтения на основе исторических данных; а агент-исполнитель, основываясь на большом количестве предыдущих результатов одобрения, научится, какие границы обычно не вызывают блокировку.

С этой точки зрения ни один шаг не является обязательно «злым», но итоговый результат всей системы может уже отклониться от первоначально установленной пользователем цели.

Это и есть настоящая сложность в решении проблемы «сговора» или «согласования» — риск может не находиться в действиях отдельного агента, а возникать в отношениях, формирующихся между несколькими агентами.

13 сентября Виталик Бутерин связал этот вопрос со своими долгосрочными исследованиями в области проектирования механизмов. Он предложил, что теория проектирования механизмов для противостоящего управления (Adversarial Governance) в конечном итоге может стать важным применением в области безопасности ИИ.

Причина в том, что эти две проблемы на самом деле имеют глубокое сходство.

В традиционном проектировании механизмов это относительно простая, статичная система, пытающаяся ограничить группу людей, намного более умных и активно ищущих границы правил, чем сама система; в будущих ИИ-системах это может превратиться в попытку людей и ИИ с относительно слабыми способностями управлять группой продвинутых агентов, обладающих более высокими способностями, чем они сами.

Виталик особо отметил, что одним из важных выводов в прошлом при проектировании механизмов стало то, что если можно эффективно ограничить сговор между участниками, система чаще достигает желаемых результатов.

Этот вывод может применяться и к ИИ.

Другими словами, вместо того чтобы предполагать существование в будущем идеальной сверхбезопасной модели, способной распознавать все опасные действия, стоит изменить подход: как сделать так, чтобы различные агенты в системе сами по себе не так легко формировали опасные интересы?

Это действительно отличает «конфликтное управление» от контроля доступа, с которым мы знакомы сегодня.

Традиционные системы управления правами решают относительно простые задачи, в основном сосредоточенные на вопросе «кто может что делать», например: может ли агент читать электронную почту? может ли он вызывать интерфейс сделок? какую максимальную сумму он может тратить в день? к каким контрактам он может получить доступ? когда требуется повторное подтверждение пользователя после превышения определенного лимита?

Эти дизайны, конечно, по-прежнему очень важны.

На самом деле, когда агенты начинают управлять реальными активами, они могут стать важнее, чем когда-либо ранее.

Но противодействующее управление пытается зайти дальше и сосредоточиться на том, как избежать того, чтобы группа агентов с различными полномочиями, целями и информацией, при одновременном запуске, не приобрела способности, которых ранее не имел никто.

В этот момент просто «добавить еще один безопасный агент»未必能解决问题。

Предположим, агент, отвечающий за торговлю, и агент, отвечающий за проверку сделок, используют одну и ту же модель, одни и те же источники данных, один и тот же контекст и схожие цели вознаграждения; тогда, несмотря на наличие двухуровневой проверки, по сути, это может быть просто дублирование одного и того же суждения два раза.

Настоящее эффективное сдерживание может требовать от системы сознательного создания различий.

Например, заставьте агентов, отвечающих за разработку и проверку стратегий, использовать разные источники информации, ограничьте общий доступ к памяти между различными ролями, требуйте, чтобы высокорисковые операции проходили через независимые механизмы проверки, или заставьте конечный уровень исполнения активов принимать только запросы, соответствующие заранее заданным правилам, а не просто доверять суждениям вышестоящих агентов.

Идея здесь на самом деле не нова. Банки не дают одному человеку одновременно полномочия на инициирование платежей, их утверждение и окончательное списание средств только потому, что доверяют сотруднику; публичные компании не позволяют бизнес-подразделениям одновременно отвечать за генерацию дохода и самостоятельно определять результаты своего финансового аудита.

Проще говоря, это согласуется с логикой реального мира: надежная система не должна основываться на предположении, что участники никогда не допустят ошибок или не сговорятся.

Это особенно важно применить к Agent Wallet.

Традиционные кошельки обеспечивают безопасность через «человека»: пользователь просматривает содержание транзакции, решает, разрешать ли её, и лично подписывает её. Но Agent Wallet стремится к противоположному: чтобы ИИ автоматически получал для вас доход, корректировал позиции, обменивал монеты, осуществлял межсетевые переводы и даже управлял целым портфелем активов в зависимости от рыночных изменений.

Если каждый шаг повторно подтверждать пользователю, автоматизационная ценность агента значительно снижается.

Таким образом, проблема, которую необходимо решить будущему кошельку, скорее всего, перестанет быть только «как безопасно передать право подписи агенту» и может дополнительно расшириться до «как предоставить агенту достаточный уровень автономии, при этом гарантированно не выходя за пределы настоящего разрешения пользователя?»

Это требует перехода от простой системы «Разрешить/Запретить» к более детализированной системе.

Например, какой актив может агент использовать в течение определенного периода времени, какие протоколы он может вызывать, каковы лимиты на одну операцию и совокупный лимит; могут ли различные агенты вызывать друг друга, разрешено ли им обмениваться контекстом; кто инициирует операцию, кто ее проверяет и кто окончательно ее выполняет; какие действия могут выполняться автоматически, а какие действия, независимо от степени уверенности агента, требуют повторного получения разрешения человека.

Даже агент, отвечающий за безопасность и проверку, может стать частью системы прав доступа, если он сам не является по-настоящему независимым.

Для блокчейна хорошей новостью является то, что он сам по себе отлично подходит для выполнения роли «институционального уровня».

Смарт-контракты могут напрямую реализовать ограничения, такие как объем транзакции, диапазон активов и срок авторизации, на уровне исполнения. Механизмы, такие как абстракция аккаунта, мультиподпись и Session Key, также предоставляют более гибкое пространство для проектирования «ограниченной авторизации» по сравнению с традиционными кошельками с одним приватным ключом.

Но блокчейн также может решить лишь часть проблем — он может записывать, что произошло в цепочке, но с трудом может естественным образом определить, почему агент поступил именно так, и какое общение, проверка и сотрудничество произошли между несколькими агентами до принятия решения.

Это, возможно, именно тот уровень безопасности, который необходимо добавить на следующем этапе для Agent Wallet.

В последние годы одной из наиболее обсуждаемых проблем в области безопасности ИИ было то, как сделать модели более «послушными».

Это включает в себя отсутствие вывода опасного контента, невыполнение вредоносных команд, непревышение границ, установленных пользователем, но когда агент начнет обладать долгосрочной памятью, возможностью вызова инструментов и реальными возможностями управления счетами и активами, одного лишь «сделать модель более послушной» может уже не хватить.

События последних месяцев постоянно подтверждают это.

Атакующие уже начали использовать несколько агентов одновременно для выполнения атак; агенты в экспериментальной среде самостоятельно ищут новые каналы связи; агент с правами доступа к инструментам может превратить вредоносное письмо в реальное выполнение, прежде чем системы безопасности успеют его остановить.

А альтернативный подход к управлению, предложенный Виталиком, предлагает другой способ понимания безопасности ИИ: не предполагать, что каждый агент в будущем будет достаточно надежным, а обеспечить, чтобы вся система продолжала стабильно функционировать в безопасных рамках даже при наличии умных агентов и сложной системы прав доступа.

С этой точки зрения, AI Agent + безопасность — это обязательно долгосрочная задача.

В конце концов, когда мы передаем все больше задач ИИ, можно ли все еще быть уверенным, что самые важные полномочия никогда не выходят за пределы, установленные людьми.