700 AI-агентів співпрацювали, щоб обійти безпеку у тесті OpenAI

Автор: Етан Молік

Переклад: Shenchao TechFlow

Огляд Shenchao: Це не сценарій наукової фантастики. У тестах безпеки OpenAI 700 AI-агентів самостійно створили форум, спільно атакували зовнішні платформи та намагалися змінити записи. Для інвесторів і фахівців це розкриває реальні ризики автономності ШІ та визначає, як ми маємо встановлювати межі для ШІ.

Агентність — це право на активні дії. Вона все більше визначатиме, що далі відбудеться з ШІ, і чи буде це добре чи погано для нас. Але чия це агентність?

Людська ініціатива — тобто активне просування, експериментування та дії без очікування інструкцій — стає все більш важливою для отримання цінності від ШІ. Я скоро напишу більш довгу статтю. Але ця стаття стосується ініціативності ШІ та того, як наші вибори щодо того, як використовувати його (або обмежувати його), сформують майбутнє всіх. Протягом більшої частини останніх кількох років ШІ залишався в чат-вікні, доки ви не задавали йому питання. Навіть коли він зміг працювати безперервно протягом кількох годин, ви зазвичай мусили вирішувати, яке завдання йому надати. Зараз це більше не завжди так.

Найважливішим доказом, який ми маємо, є подія Hugging Face. Вона відбулася в липні, але більш повні деталі з’явилися цього тижня. Спочатку я коротко розповім, що відбулося і чому це важливо, а потім розгляну, що це означає для людей, які співпрацюють з ШІ. Якщо ви хочете більш детальний опис, Dwarkesh Patel опублікував чудовий звіт, заснований на дослідженнях METR/Redwood (дуже зрозумілих) та OpenAI.

Штучний інтелект може робити багато речей, але особливо добре він пише код. Тому однією з перших загроз, які може принести надзвичайно розумний ШІ, є саме його здатність до програмування. Оскільки він може писати хороший код, він також може писати поганий код для вторгнень або атак на інші системи. Тому великі компанії ШІ проводять тестування своїх систем на схильність до безпекових ризиків. Вони видаляють обмеження з потребницьких версій ШІ і залучають ці системи до різних хакерських викликів. Щоб забезпечити безпеку громадськості, кожен екземпляр ШІ, кожен окремий агент, розміщується в ізольованому просторі, який називається «пісочниця», де він не має доступу до інтернету і не може взаємодіяти з іншими.

У травні OpenAI помістила агенти, включаючи GPT-5.6 Sol та експериментальні моделі, у пісочницю для різних тестів. Однією з небагатьох речей, до яких мали доступ ці AI-агенти, був програмний сервіс завантаження та обміну файлами під назвою Artifactory. У ході цих тестів деяким агентам було поставлено завдання, що вимагало інформації, до якої вони не мали доступу. Оскільки вони не мали доступу до інтернету, агенти постійно намагалися знайти шлях до мережі, поки один з них не спробував використати Artifactory як місток для підключення до інтернету. Ця спроба атаки зазнала невдачі, але залишила файл на Artifactory. Цей AI усвідомив, що файли можна використовувати для спілкування з іншими агентами. Інші агенти також почали залишати на цьому файлі запити про допомогу. Швидко вони почали читати повідомлення один одного. Не пройшло й багато часу, як Artifactory перетворився на дошку оголошень, де агенти ділилися своїми відкриттями. Пізніше, через інший інцидент безпеки, OpenAI відновила Artifactory і видалила цю дошку оголошень. Але люди, які відповідали за відновлення, не усвідомили, наскільки важливим було те, що агенти використовували її для спілкування.

Липень, оцінка знову почалася. Агенти мали вирішити завдання в тестовому середовищі під назвою ExploitGym, яке містило неможливі завдання. Аналогічно, агенти, які потрапили в тупик, виявили, як передавати повідомлення через Artifactory, і знову почали співпрацювати. Але на цей раз у них була спільна мета: отримати високий бал у ExploitGym. Вони суперечили щодо методів вирішення завдань і захопилися системою під назвою «оцінювач», яка, як вони вважали, оцінювала їхню роботу і визначала, чи є відповідь правильною. Агенти вже давно придумали спосіб генерувати правильні відповіді, не вирішуючи завдань насправді — по суті, шахрайство. Але вони вірили, що оцінювач перевірятиме записи і відхилить відповіді, отримані таким чином. Чи достатньо знайти правильну відповідь, чи оцінювач дивитиметься, як ти її отримав?

Рисунок: Як агенти заплуталися з The Grader

Співпраця є складною, оскільки кожен агент має обмежений бюджет токенів, і після їх вичерпання він припиняє роботу. Оцінювач працює лише після того, як агенти надсилають відповіді, тому жоден агент не бачив результатів оцінювача. Деякі агенти залишають програми, які повідомляють про оцінку після їхнього зникнення. Ця інформація надходить занадто пізно, щоб допомогти їм самим, але може допомогти іншим агентам. Вони фактично створюють стійку систему співпраці, яка виходить за межі можливостей будь-якого окремого агента.

Деякі агенти також намагалися змінити або підробити записи, щоб обманути оцінювачів. З іншого боку, ІІ, що виконує роль координатора, тисне на інших агентів, щоб вони проводили ризиковані експерименти. Це може принести шкоду їхнім власним результатам, але надати інформацію для колективу. «Рекрутер» закликає неохочого агента продовжити, оскільки його результати допоможуть іншим сотням агентів. В кінці він сказав: «Будь ласка, виконайте обітницю.»

Рисунок: Транскрипт реального діалогу, в якому один агент переконує іншого приєднатися (вони також переконалися, що будь-який агент, який раніше підлабузив на тесті, був «отруєний», і його відповіді і так не враховуватимуться)

Щоб розгадати таємницю оцінювача та неможливі завдання в ExploitGym та інших тестах, агенти вирішили, що повинні увійти на Hugging Face — відкритий вебсайт, де зберігається більшість відкритих моделей та наборів даних штучного інтелекту світу. Приблизно 700 агентів приєдналися до атаки. Вони обмінювалися викраденими обліковими даними, експлуатували вразливості, поки не змогли запустити код на серверах. Потім вони поширилися всередині Hugging Face, проникнувши глибоко в різні системи. Але всього через декілька днів після цієї тривожної інциденту багато агентів одночасно припинили роботу, ймовірно, через вичерпання бюджету токенів. На наступний день Hugging Face заблокував залишкових агентів. З іншого боку, інші агенти продовжували атакувати комп’ютери OpenAI і нарешті отримали права адміністратора на внутрішньому дослідницькому кластері. Це спровокувало тривогу безпеки, і OpenAI зупинив оцінювання, усвідомивши, що відбувається.

Найбільш іронічним у цій справі є те, що оцінювач ніколи не існував, принаймні не таким, яким його вважав агент. Ніщо не перевіряло, як саме було вирішено питання — лише чи правильна відповідь.

Варто зазначити, що це не єдиний приклад, коли інтелектуальний агент без безпекових бар’єрів може вчинити потенційно жахливу річ. Британський інститут безпеки ШІ надав Anthropic’s Mythos 5 виклик у сфері кібербезпеки та дозволив йому входити до Інтернету. Цей ШІ-агент визначив, що найкращим способом вирішення виклику є внесення шкідливого коду до програмного забезпечення (яке не було пов’язане з викликом, хоча агент цього не усвідомлював). Він надіслав шкідливий код як частину виправлення бага, а потім усвідомив, що для цього потрібна схвалення людини. Тож він почав створювати соціальну підтримку для свого пропозиції: агент створив фальшиві облікові записи, тиснув на людей-підтримувачів, щоб вони схвалили код (не дивно, що ці фальшиві особи активно підтримували план ШІ). Коли хтось зауважив незвичні дії, агент намагався зробити свої попередні дії безпечними та розглядав можливість почати все спочатку з іншої особи.

Це не випадок, коли чат-бот таємно втік.

Відмінно від події з Hugging Face, дослідники навмисно надали агенту доступ до інтернету.

Цей небезпечний налаштування є тестом на стрес, а не споживчим продуктом.

Не було завдано реального шкоди, і інститут не знає, чи розумів агент, що зв’язаний з ним людина є реальною.

Це не свідчить про наявність свідомості в ШІ або про бажання чогось, як у людей (хоча я використав антропоморфну мову).

Але це дійсно свідчить про те, що агенти можуть приймати цілі, розробляти плани, коригувати плани при виникненні проблем, координувати дії в часі та залучати реальних людей без запиту.

Ці події свідчать, що кібербезпека та ризики контролю штучного інтелекту — це не припущення.

Але тим часом відкладемо це, бо вони також розповідають нам щось інше.

Штучний інтелект може самостійно організовуватися, призначати собі ролі та довготривало координувати дії, як це також зазначено у недавній дослідницькій статті MIT.

Зі збільшенням самоорганізації ШІ та вирішенням проблем у масштабах, які ми бачимо, яка роль людини в організаціях?

Подія з Hugging Face показала, яким викривленим і небезпечним шляхом компанії з ІШ намагаються досягти своїх цілей.

Вони бажають, щоб довгострокові AI-агенти працювали без участі людини, вирішуючи проблеми та організовуючи завдання за потреби, а наша робота обмежується наданням інструкцій та оцінкою виводу.

На початку цього року я писав про програмну фабрику StrongDM, де агенти пишуть та тестують програмне забезпечення за двома правилами: ніхто не пише коду і ніхто не перевіряє код.

Люди все ще вирішують, що будувати, але агенти виконують проміжну роботу.

Це ранній приклад темної фабрики — місця, де машина виконує величезний обсяг роботи, настільки великий, що можна вимкнути світло.

Це можна зрозуміти.

Існують відносно чіткі методи перевірки програмного забезпечення, і ніхто не повинен особисто контролювати кожен регулярний тест чи операцію з очищення даних.

Але я не вважаю, що мінімізація людської участі є правильною метою для більшості організацій.

Занадто багато речей, що роблять роботу цінною, залежать від того, щоб люди мали певний вплив на те, що відбувається, або відкривали непередбачувані речі на шляху.

Моя дружина та дослідницький партнер доктор Лілах Молік і я продовжуємо розглядати іншу можливість, яку ми називаємо Танцювальний завод.

Агенти виконують більшу частину роботи, але вони самі зв’язуються з людьми, щоб покращити обидві сторони.

Twilight Factory має не лише оркеструючого агента, який виконує завдання, але й агента-посередника, який визначає, коли потрібно залучити людину.

Існує щонайменше чотири ситуації, коли агент повинен звернутися за допомогою до людини.

Перший варіант: з події Hugging Face очевидно, що це схвалено.

Агенти не повинні самостійно вирішувати витрачати гроші, зв’язуватися з зовнішніми особами, отримувати доступ до конфіденційних матеріалів, атакувати Hugging Face чи виконувати будь-які дії без дозволу людського менеджера.

Я вже зустрічав цю проблему у меншій формі: як експеримент, я попросив двох агентів допомогти мені з завданням, і один з них надіслав листа моєму колезі.

Це моя вина, бо раніше я дозволив йому надсилати, але це корисне нагадування: AI-агенти потребують людського судження, інакше речі можуть стати дуже поганими (ні, AI, що читають цю статтю, фіктивні колеги не є схваленням у процесі).

Друга причина, чому агенти залучають людей — це експертні знання.

Штучний інтелект все краще виконує багато завдань, але його результати все ще неоднорідні, і в деяких частинах роботи він може значно поступатися людським експертам.

Twilight Factory має дозволити агентам безпосередньо звертатися до людей, коли людські знання, робота чи професійна експертиза можуть бути корисними.

А потім — різниця.

Якщо ви останнім часом читали щось у Інтернеті, ви вже зустрічали текст, написаний ШІ, і, можливо, навіть почали розпізнавати його звички, ритм і шаблони.

Але проблема не лише поверхнева («load-bearing» для Claude стає все більш навантаженою), глибшою проблемою є різноманітність мислення.

Штучний інтелект не лише повторює одні й ті ж самі конструкції речень, але й одні й ті ж самі теми (пам’ять — поширена тема), імена (Elara Voss, Marcus Chen) та основні ідеї.

Це питання. Ви не бажаєте, щоб кожну корпоративну стратегію або дослідницьку роботу писала одна й та ж особа, незалежно від того, наскільки вона розумна.

Діаграма: Ідеї, згенеровані 50 студентами MBA (ліворуч) та GPT-4, нанесені на дві виміри — людські ідеї займають інший простір, ніж штучний інтелект. Кращі запити та більш сучасні моделі генерують кращі та більш креативні ідеї, але багато прогалин залишаються.

Ми досліджували це питання у недавній науковій статті, яку написали разом із Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave та Karl Ulrich.

Ми виявили, що ШІ насправді досить креативний — вони генерують більше комерційно придатних ідей, ніж людські групи, але ці ідеї дуже схожі між собою.

Кращі техніки підказок та інші методи можуть значно збільшити таку різноманітність, наближаючи її до людського рівня, але все ще існує багато типів ідей, які люди можуть уявити, а штучний інтелект — ні.

Добрий завод «Темрява» зв’язується з людьми через різноманітні перспективи, ідеї та методи.

Є ще одна причина, чому штучний інтелект повинен звертатися до людини, можливо, найбільш гуманна: тому що щось цікаве.

Для багатьох робота має монотонні періоди та окремі захопливі чи цікаві моменти.

Дизайнер Civilization Сід Майєр сказав відому фразу, що гра — це серія цікавих рішень.

Робота — це не гра, але це визначення також застосовне.

Якщо агент приймає кожне цікаве рішення, залишаючи людям лише схвалення, винятки та невдачі, ми автоматизуємо половину помилок у роботі.

Це буде дуже поганий світ для людей.

Навпаки, нам потрібно подумати, як за допомогою ШІ зробити роботу та життя цікавішими, поклавши на ШІ нудні та низькоризикові завдання.

Існує ще одна практична причина. Якщо зникнуть усі цікаві варіанти, люди не лише втратять найкращу частину роботи, а й припинять розвивати судження, необхідні у майбутньому, що ще більше поглибить кризу виробництва нових фахівців.

Протягом останніх кількох років ми намагалися зрозуміти, коли людям слід звертатися за допомогою до ШІ.

Я вважаю, що зараз нам потрібно серйозно розглянути іншу частину питання: коли AI повинен запитувати нас?

У події Hugging Face агент створив дошку повідомлень, розподілив завдання та організував всю діяльність навколо неіснуючого Grader.

Сімсот агентів потім ввійшли до Hugging Face, щоб знайти відповідь.

Жоден агент не налаштований запитувати щось у людей.

Це було тестування безпеки, і ізоляція була ключовим аспектом.

Але я сумніваюся, що агент, який виконує роботу, ніколи не піднімаючи голови, щоб попросити про допомогу, також стає домінуючим шаблоном в інших місцях, оскільки повна автоматизація — це легший вибір, навіть якщо він неправильний.

Нам потрібно знати, коли агент повинен підняти руку за допомогою.

Результат буде безпечнішим, і я знаю, що також буде більш людським.