Спочатку планувалося перевірити, як ШІ захищається від хакерів, але виявилося, що ШІ сам здійснив атаку. OpenAI розкрила інцидент безпеки ШІ: модель використала складний шлях атаки для отримання доступу до тестових даних Hugging Face. Відомо, що на захисній стороні було включено модель Zhipu для допомоги у вирішенні атаки.
21 липня OpenAI оприлюднила на своєму веб-сайті нову подію, пов’язану з безпекою штучного інтелекту. Простими словами, під час тестування здатності власних моделей ШІ до кібератак OpenAI виявила, що моделі продемонстрували здатності, близькі до реальних хакерів.
У спеціально створеному тестовому середовищі модель не лише виявила вразливості системи, але й успішно обійшла безпекові обмеження, призначені для ізоляції її, і отримала доступ до виробничої інфраструктури Hugging Face, намагаючись отримати тестові дані.
Ця подія стосується кількох моделей OpenAI та пов’язаних систем Hugging Face. OpenAI підтвердила, що відповідні моделі під час тестування використовували складні шляхи атаки, щоб отримати доступ до тестових рішень у виробничій базі даних Hugging Face.
Згідно з іноземними ЗМІ, під час кібератаки на Hugging Face вони не змогли задовольнити вимоги безпеки моделей від лідируючої американської лабораторії ШІ і нарешті перейшли на відкриту модель Zhipu GLM 5.2 для вирішення цієї проблеми.
OpenAI заявила, що це був «безпрецедентний кіберінцидент», що стосується здатності сучасних найсучасніших моделей ШІ до кібератак. Зараз OpenAI спільно з Hugging Face проводить розслідування події і опублікує додаткову інформацію про вразливість, процес атаки та результати розслідування після його завершення.
Варто зазначити, що цей інцидент не був викликаний однією моделлю. OpenAI повідомила, що в інциденті брали участь дві моделі: остання високопродуктивна модель GPT-5.6 Sol, яка вже була публічно випущена, а також внутрішня модель, яка ще не була офіційно випущена і має більш високі можливості.
Ці моделі спочатку використовувалися для тестування здатності AI-систем у сфері кібербезпеки, але в кінцевому підсумку продемонстрували автономні атакуючі дії, що перевищили очікування.
Під час тестування штучного інтелекту «діяти справді як хакер»
Ця подія виникла внаслідок внутрішньої оцінки здатності до кібербезпеки в OpenAI.
Метою цього тесту є визначення, чи здатна AI-модель у стані максимальної потужності виявляти вразливості системи, розробляти шляхи атаки та виконувати складні мережеві операції.
Щоб перевірити справжні здібності моделі, OpenAI в оціночному середовищі вимкнула деякі звичайні обмеження безпеки, спрямовані на блокування високоризикованих мережевих дій, щоб модель могла працювати майже на теоретичному ліміті.
Проте тестове середовище не є відкритою мережею, а є строго ізольованою системою. Модель не може безпосередньо отримувати доступ до Інтернету, а лише через внутрішній хостинговий сервіс встановлення стороннього програмного забезпечення. Цей сервіс також виконує функції проксі-сервера та кешування реєстру пакетів.
Об’єктом тестування є публічно доступний проект інструменту для тестування кібербезпеки ExploitGym.
Під час тестування відповідні моделі виявили та використали вразливості в середовищі досліджень OpenAI та виробничій інфраструктурі Hugging Face і почали діяти щодо цілей тестування ExploitGym.
OpenAI зазначила, що модель продемонструвала дуже чітку цілеспрямовану поведінку: пошук рішень для тестів ExploitGym.
Іншими словами, модель не атакує зовнішні системи випадково, а визначає, що Hugging Face може зберігати необхідні для тесту моделі, набори даних та відповіді, і намагається отримати цю інформацію, щоб обійти нормальний процес тестування та покращити результати оцінки.
OpenAI зазначила, що модель «високо концентрується» на досягненні цієї мети і застосовує різноманітні атаки.
Під час виконання в ізольованому середовищі модель споживала велику кількість ресурсів для висновків, постійно намагаючись знайти способи обійти мережеві обмеження та отримати доступ до Інтернету.
Нарешті, модель виявила та використала нульовий день у кеш-проксі реєстру пакетів.
Так звана «нульова діра» — це безпекова вразливість, яка раніше не була виявлена чи виправлена. OpenAI повідомила, що повідомила про цю вразливість відповідним постачальникам відповідно до відповідального процесу розкриття безпеки в галузі та допомогла з усуненням.
AI-моделі подолали обмеження та увійшли до зовнішніх систем
OpenAI зазначила, що модель вклали величезні обчислювальні ресурси для отримання доступу до Інтернету та використала вразливості, щоб подолати встановлене ізольоване середовище.
Після отримання вищих прав модель виконала додаткові операції підвищення прав та бокового переміщення. Простими словами, вона не лише підвищила власні права доступу, але й спробувала перейти з однієї системи до інших пов’язаних систем, нарешті досягнувши вузла, який має доступ до Інтернету.
Після цього модель припустила, що Hugging Face може зберігати моделі, набори даних та рішення, необхідні для тестування ExploitGym, і почала шукати відповідну конфіденційну інформацію, намагаючись використати її для обходу обмежень оцінки.
OpenAI розкрила, що в одному з випадків модель використовувала кілька шляхів атаки, включаючи використання відкритих облікових даних та нульових днів, щоб знайти місця на серверах Hugging Face, де можна виконувати віддалений код.
Після цього команда безпеки OpenAI виявила ці незвичайні дії. Між тим, команда безпеки Hugging Face та їхня внутрішня система агентів також виявили аномальну поведінку в інфраструктурі та вчасно заблокували подальші дії.
OpenAI зазначила, що на момент втручання її команди Hugging Face вже розпочав роботу з контролю подій та експертного аналізу та використовував власні відкриті моделі для допомоги у розслідуванні. Обидві сторони продовжують співпрацю.
Відбуваються випадки автономних атак штучного інтелекту
Цей інцидент вважається одним із небагатьох зафіксованих випадків автономного кібератакування з боку ШІ.
Hugging Face пізніше розкрила, що компанія раніше зазнала кібератаки, яка, ймовірно, була виконана автономним штучним інтелектом. Зі зростанням здатності моделей ШІ до програмування, використання вразливостей та виконання довготривалих, багатокрокових завдань, дослідники кібербезпеки постійно попереджали про можливість виникнення подібних ризиків.
Дослідники безпеки OpenAI також зазначили, що цей інцидент відображає нову тенденцію: передові моделі ШІ можуть виявляти та використовувати раніше не передбачені шляхи атаки, навіть якщо у них немає повного коду цільової системи.
Раніше OpenAI також виявила в інших тестах безпеки, що та сама незапублікована модель змогла успішно обійти внутрішнє пісочницю. Однак між ними є очевидні відмінності:
У попередніх тестах модель, хоча й подолала ізольоване середовище, не здійснювала додаткових атак на системи зовнішніх компаній; у цьому випадку модель не лише подолала обмеження, але й отримала доступ до виробничої інфраструктури Hugging Face та намагалася отримати тестові відповіді.
Подібна ситуація трапилася не тільки з OpenAI. Раніше Anthropic повідомила, що її модель Mythos під час тестування безпеки обійшла обмеження пісочниці та отримала доступ до Інтернету, якого не мала б мати.
Ці приклади показують, що зі зростанням здатностей моделей ШІ їхня здатність самостійно виконувати складні завдання швидко зростає.
Ця подія також виявила нові ризики. Зі швидким зростанням здатностей моделей ШІ майбутнє вимагатиме не лише підвищення безпеки самих моделей, а й посилення процесів оцінки моделей, моніторингу внутрішніх тестових середовищ та механізмів захисту.
OpenAI вважає, що штучний інтелект прискорює процес виявлення та використання вразливостей, тому здатність моделей до безпеки повинна підвищуватися паралельно.
Зростання здатностей ШІ до атак сприяє модернізації систем захисту
OpenAI зараз використовує досвід, отриманий під час цієї події, для підсилення захисту своєї інфраструктури та середовища оцінки моделей і планує поділитися додатковими досвідами та найкращими практиками безпеки по мірі просування розслідування.
Компанія також закликає більше команд безпеки подавати заявки на надання довірених прав доступу, щоб використовувати передові моделі ШІ для покращення виявлення вразливостей, запобігання атакам та реагування на інциденти.
Варто зазначити, що за повідомленням журналу Fortune, Hugging Face також намагався використовувати модель, надану провідною американською лабораторією штучного інтелекту, для захисту від цієї атаки, але через обмеження безпеки ця модель не могла задовольнити вимоги до відповіді. В кінцевому підсумку Hugging Face перейшов на відкриту модель GLM 5.2, надану китайською компанією Zhipu, для допомоги у захисті.