OpenAI випустила автоматизовану систему під назвою GPT-Red для пошуку безпекових уразливостей до запуску моделі. Компанія стверджує, що цей інструмент вже використовувався в процесі навчання GPT-5.6 з акцентом на підсилення проти атак ін'єкції запитів.
Використовуйте ШІ для перевірки ШІ
Червона команда — це поширена практика в галузі безпеки, яка полягає у активному нападі на систему з метою виявлення вразливих місць до їх використання. OpenAI на цей раз додала автоматизацію до цього процесу, дозволивши моделі самостійно генерувати атакуючі зразки, а потім використовувати успішні випадки для навчання моделей захисту.
OpenAI повідомляє, що GPT-Red за допомогою адверсарного самогри впродовж часу генерує все потужніші атаки з ін'єкцією підказок. Коли атака вдається, ці зразки включаються до наступного навчання, що сприяє підвищенню здатності захисної моделі протистояти таким атакам.
Розкриття даних внутрішнього тестування
За словами OpenAI, у внутрішніх оцінках GPT-Red успішно виявив вразливості у 84% тестових сценаріїв, тоді як ручні червоні команди досягли успішності 13% у подібних тестах. Компанія стверджує, що ці зразки атак були використані для навчання GPT-5.6, що зменшило кількість невдач моделі у складних тестах на ін'єкцію підказок.
У тексті також згадується випадок: до виправлення вразливості GPT-Red міг навести автоматизовані агенти продавців знижувати ціни, закуповувати знижені запаси та скасовувати замовлення інших користувачів. OpenAI використовує цей приклад, щоб показати, що проблеми ін'єкції підказок впливають не лише на результати чату, але й можуть впливати на AI-агенти з можливістю виконання дій.
Також залишатиметься у використанні як внутрішній інструмент
OpenAI зазначає, що GPT-Red наразі не буде доступний для загального користувача, оскільки ця система містить навмисно навчені атакувальні здібності. Компанія позиціонує її як доповнення до штучних червоних команд, сторонніх тестів та інших заходів безпеки, а не як їхню альтернативу.
Це також свідчить про те, що галузь ШІ переходить до підходу «захищати ШІ за допомогою ШІ». На початку цього місяця Фонд Ефіріум також повідомив, що використовує агенти ШІ для червоних команд тестування критичної інфраструктури та виявив вразливість у програмному забезпеченні консенсусних клієнтів Ефіріуму. Зі зростанням здатностей моделей та агентів автоматизоване тестування безпеки поступово стає важливим етапом перед запуском систем ШІ.