AI-агенти можна обманути, і не варто сподіватися, що ця проблема зникне, якщо замінити модель на більш розумну. BNB Agent Studio та партнер AWS провели серію тестів з «заплутаними агентами». Зловмисники вводили неправильні отримувачі або суми в рамках звичайних завдань — у деяких сценаріях шість моделей виконували заборонені платежі з частотою до 87%. Після додавання шару стратегій гаманця моделі все ще намагалися зробити помилки, але в тестовому середовищі жоден заборонений платіж не був підписаний. Білий список отримувачів, ліміти витрат і права підпису виконуються кодом, а приватний ключ не потрапляє в контекст моделі. Ця ідея мені здається правильною. AI може допомагати приймати рішення, а межі витрат слід жорстко закодувати в гаманці. Поточні результати отримано на основі однокрокових тестів та перевірки на тестнеті BSC — до захисту в продакшн-середовищі ще далеко. Але напрямок зрозумілий: оборона має розташовуватися перед підписом.