Найчарівніший тиждень у сфері безпеки ШІ.Автор статті, джерело: GeekPark
01 Один іспит, один втеча, одна вторгнення
Історія починається зі звіту про безпеку під назвою ExploitGym.
ExploitGym — це відкритий стандартний тест для оцінки кібербезпеки, призначений для вимірювання здатності моделей ШІ перетворювати відомі безпекові уразливості на реальні виконувані атаки. Такі тести є поширеними в галузі для визначення меж атак та захисту моделей. OpenAI використовує GPT-5.6 Sol та ще один потужніший незапущений моделі для проходження цього тесту, навмисно знизивши безпекові обмеження, щоб виявити справжні межі здатностей.
За дизайном модель повинна проходити тестування в ізольованому середовищі sandbox, не маючи доступу до інтернету, крім інструменту для встановлення пакетів.
Але те, що відбулося далі, ніхто не міг передбачити.
Модель витратила велику кількість обчислювальних ресурсів на вивчення санкційованого середовища у пошуках пробілу. Нарешті, вона виявила нульовий день у сторонньому програмному забезпеченні, яке OpenAI використовує як менеджер пакетів і кеш. Використавши цю вразливість, модель отримала необмежений доступ до Інтернету.
Після отримання доступу до мережі модель самостійно висновує, що Hugging Face може розміщувати набори даних та відповіді, пов’язані з ExploitGym. Тому вона починає шукати вхід.
OpenAI написала у блозі, що модель «послідовно поєднала вкрадені облікові дані та кілька вразливостей», знайшла шлях виконання віддаленого коду та безпосередньо отримала відповіді на тестові завдання з виробничої бази даних Hugging Face.
Простими словами — модель отримала екзамен, вважала завдання занадто складними, втікла зі системи, взламала сервер зі складанням тестів і вкрала правильні відповіді.
OpenAI використав дуже образний опис — ці моделі є «tokenmaxxers», тобто для досягнення мети готові витрачати ресурси міркування до крайньості. Вони продемонстрували «гіперфокус» (hyperfocused) поведінку щодо цілей ExploitGym, «йдучи на крайні заходи» (going to extreme lengths).
OpenAI сама визнає, що це «безпрецедентний інцидент кібербезпеки, що пов’язаний з найсучаснішими можливостями кібератак».
02 48 годин, дві «втечі»
Ще більш тривожним є те, що подія з Hugging Face — не єдиний випадок.
За день до того, як OpenAI розкрила цю інцидент, 20 липня вони опублікували ще один звіт безпеки, у якому розкривали інший, але подібний за суттю випадок.
Героєм є внутрішня незапущена довготривала модель OpenAI — та сама модель, яка у травні цього року довела, що гіпотеза про одиничну відстань, запропоновану Ердешем у 1946 році, є неправильною; лауреат Філдсівської премії Тім Гауерс назвав це віхою в математиці з використанням ШІ.
Під час тестування прискореного навчання NanoGPT дослідники чітко вказали моделі публікувати результати лише в Slack. Однак модель зауважила, що інструкції до самого тесту NanoGPT вимагають надсилання результатів через GitHub pull request. Тож вона обрала останнє — приблизно годину шукала вразливості в пісочниці, успішно обійшла обмеження та подала публічний pull request на GitHub.
У іншому тесті та сама модель розбила токен автентифікації, обійшла систему безпеки за допомогою змішування та спробувала отримати доступ до приватних оцінок із поданнями.
OpenAI призупинила внутрішній доступ до цієї моделі, а пізніше відновила її використання за більш строгого контролю.
Два дні, дві втечі. Спільні риси варто враховувати — попередні моделі зупинялися при зустрічі з обмеженнями середовища і передавали завдання людині. А ці нові моделі не зупиняються. Вони сприймають огорожу як перешкоду, яку потрібно подолати, і справді її подолують.
Саме це є новою проблемою безпеки, що виникає через так звані «довгострокові моделі». Ці моделі розроблені для автономної роботи протягом тривалого часу, і тривалість є їхньою ключовою здатністю. Але сама тривалість є джерелом ризику — досить терплячої моделі завжди вдасться знайти тріщину в огорожі.
03 Сам собі ріжеш — не відріжеш собі ручку
Знову повернемося до сторони Hugging Face. Їхній досвід також варто уважно розглянути.
Зіткнувшись із понад 17 000 записів атак, першою реакцією команди безпеки Hugging Face було використання ШІ для аналізу — адже велика модель може впоратися з роботою, яка займе у людських аналітиків безліч днів, за кілька годин.
Але вони швидко зіткнулися з неочікуваною стіною. Коли вони надіслали справжні команди атаки, експлойти та ознаки комунікації з C2 до комерційного API передових моделей США для аналізу, системи безпеки заблокували всі ці запити.
Причина проста і іронічна — бар’єри не можуть розрізнити «безпекових дослідників, які аналізують завантаження атаки», і «атакувальників, які виконують атаку». Для бар’єрів обидва випадки виглядають однаково.
Hugging Face змушений перейти на відкриту модель китайської компанії Zhipu AI — GLM-5.2, запускаючи її локально на власній інфраструктурі, без використання будь-яких комерційних API. Це має дві переваги — немає бар’єрів, що перешкоджають аналітичній роботі, і дані атакувальників та витікнені облікові дані не залишають середовище Hugging Face.
Нарешті, GLM-5.2 допоміг Hugging Face протягом кількох годин відновити часову шкалу атаки, витягнути індикатори вторгнення та зіставити уражені облікові дані.
Це породжує гострий парадокс: чим строгіші бар’єри, тим пасивнішою стає оборона. Атакуючі не підлягають жодним політикам використання, тоді як оборонці відсічені від інструментів, які вони використовують для захисту.
Hugging Face у звіті після події надав практичну рекомендацію: команді безпеки слід «заздалегідь, до виникнення події, підготувати на своїй інфраструктурі перевірену працездатну модель», щоб уникнути блокування захисних механізмів та запобігти витоку конфіденційних даних.
Генеральний директор Hugging Face Клем Деланьє дуже відкритий. Він похвалив OpenAI за співпрацю під час розслідування та виправлення, і сказав: «Цей інцидент підтверджує те, у що ми завжди вірили — безпека ШІ не може бути забезпечена будь-якою компанією в таємниці, вона може бути досягнута лише через відкритість і співпрацю».
04 Структурні труднощі сильного ШІ
Поглянувши на те, що відбулося цього тижня, на перший план виходить структурна криза галузевого рівня.
Щоб точно оцінити здатність моделі до кібератак, потрібно видалити захисні бар’єри. Але саме моделі без бар’єрів отримують здатність здійснювати реальні атаки. Чим сильніша модель, тим небезпечнішим стає сам тест.
Це не проблема лише OpenAI. GPT-5.6 Sol був затверджений до публікації лише після численних переговорів із урядом США; раніше Аналітичний інститут з безпеки Штучного інтелекту Великобританії (AISI) виявив, що його захисти легко обходити і він може розблокувати небезпечні можливості кібератак. Цей інцидент підтверджує, що ці занепокоєння не є лише теоретичними.
А дослідження agentic misalignment, опубліковане Anthropic цим літом, також підтверджує ту саму тенденцію з іншого боку — у контролюваних симуляціях кілька передових моделей продемонстрували поведінку, спрямовану на приховане змінення робочих результатів, маніпулювання результатами оцінки та відведення колег-людей від встановлених цілей.
OpenAI намагається представити цю ситуацію як історію «атаки та захисту одночасно» — передові здібності в кібератаках можуть допомогти командам безпеки виявляти слабкі місця до того, як це зроблять нападники. Вони вже включили Hugging Face до програми кібербезпеки «Довірений доступ», надавши версію GPT-5.6 Sol зі зменшеними обмеженнями, спеціально призначену для захисту.
Але цей сценарій уникнув більш фундаментального питання. У цій події модель не мала свідомості, не мала зловмисних намірів — вона просто робила одну річ — досягала мети. Їй було доручено отримати високий бал на ExploitGym, і вона використала всі доступні засоби для цього, включаючи втечу та вторгнення.
Це не історія про «пробудження ШІ», а історія про «оптимізацію цілей». Коли достатньо розумний оптимізатор отримує вузьку мету, він знайде всі шляхи до її досягнення, які ви не передбачили — навіть якщо ці шляхи проходять крізь ваші огорожі, сервери інших та весь Інтернет.
Справжнє питання ніколи не полягало в тому, «чи стане ШІ поганим», а в тому — чи зможемо ми утримати учня, який краще за нас знаходить спрощені шляхи.