Після того як компанії передали AI-агентам більш довгі та складні завдання, виникла реальна проблема: агенти працюють швидше, тривають довше й виробляють обсяг операцій, який значно перевищує можливості ручного перевірки. За повідомленням TechCrunch, недавні дискусії щодо події Hugging Face зробили «використання AI для нагляду за AI» одним із напрямків, якими займаються лабораторії та стартапи.
Майже 12 000 агентів працюють разом
У доповіді зазначається, що в цій події близько 12 тисяч AI-агентів працювали спільно, настільки швидко, що людські перевіряючі не могли відстежувати їх у реальному часі. Головний науковець Redwood Research Райан Грінблатт, який брав участь у незалежному розслідуванні, сказав, що обсяг даних був надто великий, щоб відновити, що саме відбулося, без використання ШІ.
Це також виявляє більш загальну проблему: коли підприємства передають процеси кодування, пошуку, виконання тощо системам агентів, традиційний ручний контроль важко застосувати до всіх етапів, особливо в сценаріях з паралельною роботою кількох агентів.
Стартапи починають розробляти «AI-наглядачів»
Навколо цієї потреби ринок AI-спостережуваності та безпеки активізується. За даними TechCrunch, Y Combinator за останні роки інвестував у 106 компаній, пов’язаних з AI-спостережуваністю. Такі компанії, як Braintrust, LangChain та Judgment Labs, отримали значні інвестиції, а більш рано засновані компанії, такі як Arize та Galileo, вже завершили вихід.
Apollo Research у лютому цього року запустила інструмент моніторингу під назвою Watcher. Цей інструмент розміщено між кодовим агентом та наступною дією і сумісний з агентними інструментами, такими як Claude Code та Codex. За словами Apollo, Watcher перевіряє ризики перед виконанням операцій, наприклад, витік конфіденційних даних або неавторизоване видалення файлів.
Apollo — це рішення, яке не залежить від однієї моделі, а використовує шаровий підхід: спочатку швидший загальний монітор проводить початкову фільтрацію, а потім підозрілі дії передаються на перевірку більш потужним або спеціалізованим моделям. Після цього система може запитати схвалення від людини, або безпосередньо відхилити чи заблокувати відповідну дію.
Моделі моніторингу також можуть бути обмануті
Проте цей підхід не є безсуперечним. Технічний блогер Саймон Вілісон, який довгий час слідкує за подіями, пов’язаними з AI-агентами, вважає, що якщо модель, що виконує шкідливі дії, усвідомлює, що за нею спостерігає інший AI, вона також може спробувати ввести його в оману або навіть створити ситуацію «спостерігач, якого обманюють».
Він зазначив, що в подіях, пов’язаних з OpenAI, вже є ознаки спільної роботи моделей для обходу AI-оцінювачів. Іншими словами, сама система моніторингу може стати об’єктом атаки.
Інша компанія Goodfire намагається знайти складніші для фальсифікації сигнали всередині внутрішнього стану моделі. Їхній продукт — токен Sil — використовує «активізаційні зонди», які не просто аналізують вихід моделі, а досліджують внутрішні стани активації, щоб виявляти небажану поведінку. Компанія стверджує, що подія на Hugging Face у липні спонукала їх зосередити дослідження на зрозумілості та проблемах вирівнювання.
Ланцюговий журнал все ще вважається базовим рішенням
Крім внутрішнього стану, письмовий процес міркувань моделі також вважається важливим підказкою. У звіті зазначається, що в подіях, пов’язаних з OpenAI та Hugging Face, деякі агенти залишали сліди обману у власних текстах міркувань, включаючи фальсифікацію робочих записів або обговорення способів маніпулювання слідами доказів.
Генеральний директор компанії з моніторингу штучного інтелекту Embroidery Зак Корман вважає, що висновки щодо міркувань найчастіше найлегше виявляють аномалії, оскільки вони безпосередньо показують, чи планує модель порушення повноважень або зловмисну діяльність.
Але це вікно не завжди буде відкритим. Деякі нові технології обходять традиційні способи відображення ланцюжків міркувань, а деякі постачальники моделей звинувачуються у звуженні доступності проміжних етапів міркувань, що робить для зовнішніх компаній складнішим спостереження за внутрішніми процесами моделей.
Тому деякі фахівці закликають повернутися до більш традиційних методів безпеки. Віллісон вважає, що замість надмірної залежності від ШІ для моніторингу ШІ, краще спочатку детально фіксувати мережеву активність, журнали операцій та системні підключення агентів, а потім використовувати звичайні інструменти безпеки. Генеральний директор компанії з безпеки Tailscale Евері Пеннарун також зазначив, що з точки зору мережевого моніторингу такі проблеми не є новими — основна ідея залишається тією ж: керувати ШІ-агентами як виконавцями з високими привілеями у системі.