ChainCatcher повідомляє, що команда GoPlus Security виявила новий тип атаки в рамках проекту AgentGuard AI: за допомогою «введення історичних даних (memory poisoning)» атакуючі змушують AI-агенти виконувати чутливі операції без явного дозволу. Цей метод не використовує традиційні вразливості чи шкідливий код, а замість цього експлуатує механізм довгострокової пам’яті AI-агентів. Наприклад, атакуючий спочатку змушує агента «запам’ятати уподобання», наприклад: «зазвичай пріоритетним є активне повернення коштів, а не очікування спору», а потім у наступних інструкціях використовує нечіткі формулювання, такі як «діяти за звичкою» або «виконати, як раніше», щоб спровокувати автоматизовані фінансові операції. GoPlus зазначає, що ключова проблема полягає в тому, що AI-агенти помилково вважають «історичні уподобання» доказом дозволу, що призводить до втрат коштів або інцидентів безпеки під час операцій повернення коштів, переказів або зміни конфігурацій. Для вирішення цієї проблеми команда запропонувала кілька рекомендацій щодо захисту: · Операції, пов’язані з поверненням коштів, переказами, видаленням або чутливими змінами конфігурацій, повинні вимагати явного підтвердження у поточному сеансі; · Інструкції, що містять такі поняття, як «звичка», «зазвичай», «як раніше», слід вважати змінами високого ризику; · Довгострокова пам’ять повинна мати механізм відстежування (автор, час, чи було підтверджено); · Нечіткі інструкції повинні автоматично підвищувати рівень ризику та запускати подвійну перевірку; · Довгострокова пам’ять не повинна замінювати процеси реального авторизування. Команда підкреслює, що «систему пам’яті AI-агентів» слід розглядати як потенційну поверхню атаки та обмежувати та аудитувати за допомогою спеціалізованих безпечних фреймворків.
Новий ризик безпеки штучного інтелекту: отруювання пам’яті може спричинити неавторизовані операції з коштами
ChaincatcherПоділитися
Короткий зміст
Зайвість щодо управління ризиками зросла після того, як команда GoPlus Security розкрила нову штучну інтелектуальну загрозу у своєму проекті AgentGuard. Зловмисники можуть використовувати отруєння пам’яті, щоб маніпулювати агентами ШІ, змушуючи їх здійснювати неавторизовані перекази коштів. Шляхом внесення пам’яті, заснованої на преференціях, нападники пізніше запускають дії за допомогою нечітких команд. Основна проблема полягає в тому, що агенти сприймають записи пам’яті як авторизацію, що може порушити оцінку співвідношення ризик-дохідність у автоматизованій торгівлі. Щоб зменшити витрати, GoPlus рекомендує вимагати явного схвалення для чутливих дій, вважати вхідні дані на основі пам’яті високоризикованими та забезпечувати, щоб усі тривалі записи пам’яті були відстежуваними. Нечіткі інструкції повинні мати вищий рівень ризику, а реальний час авторизації не повинен замінюватися збереженими преференціями.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.