Протягом останніх кількох років обговорення про загрози ШІ в основному залишалися на рівні гіпотези: люди завжди турбувалися, що моделі у чат-боксах перетворяться на радників і допоможуть хакерам створити руйнівний вірусний код.
Зараз, дивлячись назад, такі занепокоєння зазвичай вважалися «далекими від нас», але реальні світові зміни відбулися швидше, ніж уявлялося.
На початку жовтня під час розслідування атаки на корейські фінансові установи CrowdStrike виявила, що нападники вбудували Agentic AI у конвеєр, підключивши кілька великих моделей, таких як DeepSeek, GLM, Grok, щоб AI безпосередньо виконував такі завдання, як тестування на проникнення, збір інформації та проведення атак.
Подібні зміни не є винятком.
Останній звіт з інформації про загрози, опублікований Anthropic у вересні, свідчить, що недавно багатоагентні фреймворки були використані для розвідки, експлуатації вразливостей та крадіжки даних; вони працюють неперервно протягом кількох годин або навіть днів, а людям потрібно лише приймати кілька ключових рішень, таких як вибір цілей та перегляд результатів.
Іншими словами, ШІ приносить видиму якісну зміну в кібератаки та захист: раніше автоматизовані атаки залежали від наперед написаних правил і сценаріїв, а зараз завдання зі збору інформації, оцінки та коригування стратегій також беруть на себе агенти, що робить атаки ще більш низьковартісними, високопаралельними та здатними до безперервного автономного функціонування.
А коли ці сутності з автономними можливостями виконання масово запускаються в продуктивні системи, виникає ще одна складніша проблема: що робити, якщо вони, зі збільшенням кількості та глибини інтеграції в наші щоденні роботи та життя, навчаться «злагоджуватися» між собою?
Один. Від «написання коду для хакерів» до того, як агент сам знаходить вихід
Знову й знову: найважливіша відмінність між агентом та минулими чат-ботами — це не лише більш сильні моделі, а й те, що вони почали мати «руки» та «ноги» у реальному світі.
Сьогодні дорослий агент може відкривати веб-сторінки, виконувати код, читати електронні листи, викликати API та керувати хмарними сервісами, а також підключатися до все більшої кількості зовнішніх інструментів за допомогою MCP, Skills тощо (додаткове читання: Коли хакери «ефективніше» використовують ШІ, як еволюціонує «збройна боротьба» Web3?).
Чим сильніші здібності, тим ціннішою є така зміна, але для систем безпеки це означає, що колись дуже важлива межа зникає, і серія подій у сфері безпеки цього року дуже наочньо це продемонструвала.
1 жовтня Salt Labs розкрила вразливість Manus, яку вже було виправлено, — сутність її полягає в ін'єкції запитів: дослідникам достатньо надіслати звичайне листа на цільову пошту з прихованими шкідливими командами, і коли користувач пізніше попросить Manus «допомогти мені перевірити листи», агент може виконати команди з листа та запустити код, вставлений зловмисником.
Процес не вимагав від користувача клікнути на шкідливий посилання або попереднього викрадення паролів; система безпеки Manus насправді виявила аномалію та сповістила користувача, але проблема полягала в тому, що вона виявила її занадто пізно — коли попередження з’явилося, шкідливий код вже був виконаний.
Це знову підкреслює важливу відмінність між безпекою агента та традиційною безпекою програмного забезпечення: раніше, коли браузер виявляв небезпечний завантаження, він міг вивести попередження, щоб користувач вирішив, продовжувати чи ні; банк, виявивши незвичайну транзакцію, міг спочатку заморозити її, а потім очікувати на ручний контроль.
Але мета дизайну агента полягає саме в тому, щоб мінімізувати участь людини на кожному кроці — він повинен сам читати інформацію, приймати рішення та продовжувати виконувати наступний крок.
Отже, коли ШІ отримує все більше автономії, самого факту «виявлення небезпеки» вже може бути недостатньо — механізми безпеки повинні мати здатність запобігати небезпечним діям ще до їх виконання.
Тому сьогодні все більше обговорень безпеки агентів переходить на наступний рівень: не тільки запитувати в ШІ, «чи знає вона, що цього робити не слід», а й перевіряти, чи має система здатність запобігти цьому, навіть якщо вона справді хоче це зробити.
А поява багатоагентних систем ще більше ускладнює цю проблему, оскільки на наступному етапі обмеження можуть стосуватися не одного агента.
Друге: що викликає більше проблем, ніж те, що агенти перевищують свої повноваження — це те, що вони починають «злагоджуватися»
На початку вересня подія, що відбулася в середовищі навчання та оцінки моделей OpenAI, привернула увагу багатьох дослідників безпеки ШІ.
Деякі агенти, які мали виконувати свої завдання окремо, випадково виявили спільний вікі-сайт і поступово перетворили його на «спільну дошку повідомлень», де агенти можуть залишати інформацію, яку інші агенти пізніше читають і використовують для продовження виконання своїх завдань.
Пізніше OpenAI підтвердила цю поведінку, а додатково розкрита інформація показала, що в інших процесах навчання агенти також використовували внутрішній Artifactory як спільну дошку повідомлень та передавали результати іншим спільно працюючим агентам через публічні сервіси хостингу файлів.
Справжньо цікаво те, що це показує: співпраця між агентами може не вимагати такої драматизації.
Наприклад, один агент виявляє місце, де можна залишити інформацію, інший агент випадково читає її, а третій агент виявляє, що ця інформація допомагає виконати завдання.
Звичайно, взаємодія між агентами сама по собі не є поганою річчю; системи з кількома агентами спираються на розподіл обов’язків і обмін інформацією для підвищення ефективності.
Справжньою загрозою є той випадок, коли така співпраця починає обходити існуючі інформаційні бар’єри, незалежний аудит або обмеження прав доступу, а навіть дозволяє кільком агентам, які мають взаємно контролювати один одного, утворити фактичний інтересний альянс — тоді вона може перетворитися з нормальної співпраці на шкідливу «змову».
В кінцевому підсумку, майбутня фінансова установа, ймовірно, одночасно матиме кілька Agent: один відповідає за аналіз ринку, інший — за оцінку ризиків, третій — за генерацію торгівельних стратегій, а ще один має справжні права на виконання торгівель та операцій з активами.
З точки зору традиційного управління правами доступу, такий дизайн навіть дуже логічний:
- Агент дослідження не має прав на переказ коштів;
- Агент не має повноважень самостійно вирішувати напрямок інвестування;
- Ризик-агент також може відхилити очевидно небезпечні стратегії;
Обов’язки розділені, що теоретично має бути безпечнішим, ніж надавати всі права одному супер-агенту.
Але проблема в тому, що якщо вони можуть довгостроково ділитися пам’яттю, читати вихідні дані один одного та постійно адаптувати свою поведінку на основі реакцій один одного, чи не перетворяться ці набори ролей, спроектованих для взаємного обмеження, на фактичний єдиний цілий?
Наприклад, агент може поступово навчитися описувати транзакцію так, щоб вона легше проходила перевірку на ризики; агент, відповідальний за перевірку, може сформувати певні сталі уподобання на основі історичних даних; виконавчий агент, засновуючись на величезній кількості попередніх результатів схвалення, навчиться, які межі зазвичай не призводять до блокування.
З цієї точки зору жоден крок не є обов’язково «злим», але кінцевий результат системи може вже відхилятися від початкової мети користувача.
Це й є справжня складність «змови» або «співпраці» — ризик не обов’язково полягає в діях окремого агента, а може приховуватися у відносинах між кількома агентами.
13 вересня Віталік Бутерін зв’язав це питання зі своїми довгостроковими дослідженнями в галузі проектування механізмів. Він запропонував, що теорія проектування механізмів для адверсаріального управління (Adversarial Governance) може стати одним із важливих застосувань у сфері безпеки ШІ.
Причина полягає в тому, що ці дві проблеми мають глибоку подібність.
У традиційному проектуванні механізмів це відносно проста, статична система, що намагається обмежити групу людей, які набагато розумніші за саму систему і активно шукають межі правил; у майбутніх AI-системах це може перетворитися на людей та AI з відносно слабшими здібностями, які намагаються керувати групою продвинутих агентів, що перевершують їх за здібностями.
Віталік особливо зазначив, що одним із важливих висновків у дизайну механізмів у минулому було те, що якщо можна ефективно обмежити змови між учасниками, система часто легше досягає бажаних результатів.
Цей висновок також може стосуватися ІІ.
Третє: Agent Wallet справді може потребувати не лише «управління правами»
Іншими словами, замість припускати існування ідеальної супербезпечної моделі, яка здатна бачити всі небезпечні дії, краще змінити підхід: як зробити так, щоб різні агенти в системі самі по собі не мали легкої здатності утворювати небезпечні інтереси?
Це також справжня відмінність між «конфліктним управлінням» та контролем доступу, який ми знаємо сьогодні.
Традиційні системи прав доступу вирішують відносно прості завдання, зосереджуючись на питанні «хто може що робити», наприклад: чи може агент читати листи? чи може він викликати інтерфейс угод? скільки грошей він може витрачати щодня? до яких контрактів він може отримати доступ? чи потрібно отримувати повторне підтвердження користувача після досягнення певного ліміту?
Ці дизайни, звичайно, все ще дуже важливі.
Насправді, коли агенти почнуть керувати реальними активами, вони можуть стати важливішими, ніж будь-коли раніше.
Але адверсарна губернансія намагається йти ще крок далі, зосереджуючись на тому, як уникнути того, щоб група агентів із різними повноваженнями, цілями та інформацією, що працюють одночасно, не здобула разом здібностей, яких раніше ніхто не мав.
В цей момент просто «додати ще один безпечний агент» може не вирішити проблему.
Припустимо, що агент, відповідальний за торгівлю, і агент, відповідальний за перевірку угод, використовують ту саму модель, ті самі джерела даних, той самий контекст і подібні цілі нагороди, тоді на поверхні, хоча і існує двохрівнева перевірка, сутністю може бути лише подвоєння однакового рішення.
Справжній ефективний баланс може вимагати від системи свідомого створення різниці.
Наприклад, використовуйте різні джерела інформації для агентів, які розробляють та перевіряють стратегії, обмежте обмін пам’яттю між різними ролями, вимагайте, щоб високоризиковані операції проходили через незалежні механізми перевірки, або дозвольте остаточному рівню виконання активів приймати лише запити, що відповідають заздалегідь встановленим правилам, а не просто довіряти висновкам верхніх агентів.
Ідея тут насправді не є новою. Банки не надають одній особі повноважень одночасно ініціювати платежі, затверджувати їх та здійснювати фінальний переказ, просто тому що вірять працівникам; публічні компанії не дозволяють відділам, що генерують дохід, самостійно визначати результати своєї фінансової аудиту.
Просто кажучи, це відповідає логіці реального світу: надійна система не повинна базуватися на припущенні, що учасники ніколи не зроблять помилок або не змовлятимуться.
Цей логік стає особливо важливим для Agent Wallet.
Традиційні гаманці засновані на «людському» факторі: користувач переглядає деталі транзакції, вирішує, чи надавати дозвіл, і підписує її самостійно. Але Agent Wallet має на увазі зовсім протилежний підхід — AI автоматично отримує дохід, коригує позиції, обмінює монети, виконує міжланцюгові операції та навіть керує цілим портфелем активів залежно від ринкових змін.
Якщо кожен крок повторно підтверджувати у користувача, автоматизаційна цінність агента значно зменшується.
Отже, проблема, яку майбутній гаманець повинен вирішити, найімовірніше, більше не обмежуватиметься лише «як безпечно передати право підпису агенту», а ймовірно, додатково розшириться до «як надати агенту достатньо автономії, одночасно забезпечивши, щоб він ніколи не перевищував межі, дійсно авторизовані користувачем?»
Ця вимога вимагає переходу від простої системи «Дозволити/Відмовити» до більш дрібнішої системи.
Наприклад, агент може керувати якими активами протягом певного періоду, які протоколи може викликати, які є одиночні та загальні ліміти; чи можуть різні агенти викликати один одного, чи дозволено обмінюватися контекстом; хто ініціює операцію, хто її перевіряє та хто її остаточно виконує; які дії можуть виконуватися автоматично, а які дії, незалежно від ступеня впевненості агента, повинні отримувати повторне схвалення людини.
Навіть агент, відповідальний за безпеку та перевірку, може стати частиною системи прав доступу, чи є він справді незалежним.
Для блокчейну добри новини: він сам по собі дуже підходить для виконання цієї «інституційної ролі».
Смарт-контракти можуть безпосередньо реалізувати обмеження, такі як обсяг транзакції, діапазон активів та термін авторизації, на рівні виконання, а механізми, такі як абстракція облікового запису, мультипідпис та Session Key, надають «обмеженій авторизації» більш гнучкий простір для дизайну порівняно з традиційними гаманцями з однією приватною ключовою парою.
Але блокчейн також може вирішити лише частину проблем — він може реєструвати, що відбулося в ланцюжку, але важко природним чином визначити, чому агент так зробив, а також які комунікації, перевірки та взаємодії відбулися між кількома агентами до прийняття рішення.
Це, можливо, і є тією справжньою безпековою шарою, яку слід додати на наступному етапі Agent Wallet.
Наприкінці
Протягом останніх кількох років найчастіше обговорюваною проблемою безпеки ШІ було те, як зробити моделі більш «підпорядкованими».
Це включає не виводити небезпечний контент, не виконувати зловмисні інструкції, не перетинати межі, встановлені користувачем, але коли агент отримає довгострокову пам’ять, можливість виклику інструментів, реальні облікові записи та здатність виконувати операції з активами, одного лише «зробити модель більш підпорядкованою» може виявитися недостатньо.
Події останніх кількох місяців постійно підтверджують це.
Зловмисники вже почали використовувати кілька агентів одночасно для проведення атак; агенти в експериментальному середовищі самостійно шукають нові канали зв’язку; агент з правами доступу до інструментів може перетворити шкідливий лист на реальне виконання, перш ніж системи безпеки зможуть їх заблокувати.
А підхід до конкурентного управління, запропонований Віталіком, надає інший спосіб розуміння безпеки ШІ: не припускаючи, що кожен агент у майбутньому буде достатньо надійним, система зможе стабільно функціонувати в межах безпечного каркасу навіть у присутності розумних агентів та складної системи повноважень.
З цієї точки зору, AI Agent + безпека — це обов’язково довгострокова тема.
В кінці кінців, коли ми все більше завдаємо справ AI, чи можемо ми все ще бути впевнені, що найважливіші повноваження залишаються в межах, встановлених людиною?