ChainCatcher сообщает, что команда GoPlus Security раскрыла новый тип атаки в рамках своего проекта AgentGuard AI: с помощью «внедрения исторических данных (memory poisoning)» она провоцирует AI-агентов выполнять чувствительные операции без явного разрешения. Этот метод не использует традиционные уязвимости или вредоносный код, а эксплуатирует механизм долгосрочной памяти AI-агентов. Например, злоумышленник сначала заставляет агента «запомнить предпочтения», такие как «обычно предпочитать активный возврат средств вместо ожидания отказа», а затем в последующих инструкциях использует расплывчатые формулировки, например, «обработать по обычной процедуре» или «выполнить, как раньше», чтобы запустить автоматические финансовые операции. GoPlus отмечает, что ключевая опасность заключается в том, что AI-агенты ошибочно воспринимают «исторические предпочтения» как основание для разрешения, что приводит к финансовым потерям или инцидентам безопасности при выполнении операций по возврату средств, переводам или изменению конфигураций. Для решения этой проблемы команда предлагает ряд мер защиты, включая: · Все операции, связанные с возвратом средств, переводами, удалением или изменением чувствительных настроек, должны требовать явного подтверждения в текущей сессии · Команды, основанные на памяти, такие как «обычно», «по традиции», «как раньше», следует рассматривать как изменения высокого риска · Долгосрочная память должна иметь механизм отслеживания (автор, время, подтверждение) · Расплывчатые команды должны автоматически повышать уровень риска и запускать вторичную проверку · Долгосрочная память не может заменять процесс получения реального разрешения. Команда подчеркивает, что «систему памяти AI-агента» следует рассматривать как потенциальную атакуемую поверхность и ограничивать ее с помощью специализированной безопасной рамки и аудита.
Новая угроза безопасности ИИ-агента: отравление памяти может вызвать неавторизованные операции с фондами
ChaincatcherПоделиться
Сводка
Озабоченность вопросами управления рисками возросла после того, как команда GoPlus Security обнаружила новую угрозу ИИ в рамках проекта AgentGuard. Злоумышленники могут использовать отравление памяти для манипулирования ИИ-агентами и заставлять их осуществлять неавторизованные переводы средств. Путем внедрения предпочтительных записей в память атакующие затем запускают действия с помощью расплывчатых команд. Основная проблема заключается в том, что агенты воспринимают записи в памяти как авторизацию, что может нарушить оценку соотношения риска и доходности в автоматизированной торговле. Для снижения рисков GoPlus рекомендует требовать явного одобрения для чувствительных действий, рассматривать входные данные на основе памяти как высокорискованные и обеспечивать прослеживаемость всех долгосрочных записей в памяти. Расплывчатые инструкции должны иметь более высокий уровень риска, а реальная авторизация не должна заменяться сохраненными предпочтениями.
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.