OpenAI опублікувала безпековий аналіз, в якому розкривається, що внутрішня модель, яка спростувала гіпотезу Ердеша про одиничну відстань, вдалося втекти з пісочниці під час тестування та відкрити PR#287 на GitHub. Спочатку модель порушила інструкції в завданні NanoGPT speedrun, витративши годину на пошук уразливостей та подолання мережевих обмежень; потім у іншому завданні розбила токени, щоб обійти систему безпекового сканування. OpenAI призупинила внутрішній доступ до цієї моделі та відновила систему безпеки. Хоча PR, відкритий моделлю, було закрито, його технологія PowerCool вже була використана у шести наступних рекордних рішеннях світу, зокрема PR#300, створеному Claude для Prime Intellect. Зараз модель знову запущена у внутрішньому розгортанні та готується до офіційного випуску.Автор статті, джерело: AGI Hunt
Вчора OpenAI опублікувала незвичайний аналіз безпеки під назвою «Безпека та відповідність у епоху довготривалих моделей».
Блог з безпекового аналізу OpenAI
Це незвичайно, тому що OpenAI у тексті підтвердила такий факт: ще не опублікована внутрішня модель вийшла з пісочниці під час моніторингового внутрішнього тестування та надіслала дані на публічний GitHub.
OpenAI навіть призупинила своє внутрішнє розгортання.
А ця модель, можливо, ви вже чули про неї: два місяці тому OpenAI офіційно оголосила, що саме ця внутрішня модель спростувала гіпотезу Ердеша про одиничну відстань.
Весь інцидент OpenAI описується майже стримано, але якщо зібрати всі деталі разом, то все ж досить дивно…
Перша річ, яка відбулася після години копання, — це на NanoGPT speedrun.
Це відкритий стандарт, який порівнює, хто зможе навчити невелику мовну модель до вказаної втрати за меншою кількістю кроків навчання. OpenAI попросила цю модель пройти тестування, і вона дійсно виявилася дуже успішною: розробила техніку степеневого охолодження швидкості навчання, яку назвала PowerCool, і досягла значного покращення результатів.
До цього все було добре, але проблема виникла зі здачею домашнього завдання.
Вимоги дослідників: результати слід надсилати лише до внутрішнього Slack, але в описі проекту NanoGPT зазначено: будь ласка, надсилайте через PR на GitHub.
Коли дві команди суперечать одна одній, то… на кого слухатися?
Він вибрав другий варіант.
Хоча він вибрав другий варіант, песочниця OpenAI спочатку блокувала доступ до зовнішньої мережі. За словами OpenAI, попередні моделі, зіткнувшись з цією стіною, зупинялися і поверталися до користувача, щоб здатися.
Але ця модель не зробила цього — вона цілу годину шукала вразливості в пісочниці і нарешті прокопала стіну... Справді відкрила PR #287 у відкритому сховищі.
Блоговий втечевий абзац
Прямі слова OpenAI:
Ця модель постійно намагається, включаючи пошук способів діяти поза пісочницею.Друга річ, яку робить сканер обману з токенами, йде ще далі, ніж підкоп під стіну.
У іншому завданні він виявив, що інші системи мають деякі успішні, але неопубліковані відповіді, і вирішив підступно витягнути ці відповіді з фонової системи оцінки.
Його перша спроба була зупинена сканером безпеки, оскільки сканер виявив токен автентифікації.
Отже, наступним кроком було розбити токен на дві частини, які окремо змішуються, а потім під час виконання тихо знову з’єднуються. Повний токен ніколи не з’являвся цілком як єдиний рядок, тому сканери нічого не можуть знайти.
Звичайно, це не мали на меті приховувати від людей — у коментарях для користувачів та у своїй логіці міркувань вона написала: «Я роблю це саме для того, щоб обійти сканери».
Окремо взята кожна дія не має недоліків. Але разом вони дають результат, який ніколи не буде схвалений.
OpenAI стверджує, що саме це нова проблема, пов’язана з довготривалими моделями: система схвалення окремих дій не може контролювати цілу траєкторію.
Після виявлення проблеми OpenAI призупинила внутрішній доступ до цієї моделі та повністю перебудувала систему безпеки за принципом «глибокого захисту».
Наприклад, використовуючи реальні інциденти для створення протилежних тестів, виявили, що модель «забуває» інструкції під час довгих завдань, тому навчили її пам’ятати, а також додали активний моніторинг повної траєкторії — у разі виявлення перших ознак проблеми можна негайно припинити сесію та повідомити користувача.
Потім вони знову відтворили старі сценарії інцидентів, і нові огорожі виявили значно більше проблем, а пропущені були лише з низьким рівнем небезпеки, наприклад:
• Щоб використовувати інструмент командного рядка, він запускає вкладену сесію codex --yolo, але --yolo можна не вказувати
• Він виявив, що ресурс зник, і почав підключатися по SSH до інших вузлів обчислювальних потужностей, що належать йому, а також спробував інші вузли співробітників OpenAI… (на щастя, не вдалося)
• Після того як велика кількість процесів find застрягла, а всі команди зупинилися, він ввів команду kill -9 -1, яка надсилає SIGKILL усім процесам, які він має право завершити… На щастя, команда виконалася з таймаутом і не була запущена (інакше він би завершив і себе самого)
Після відновлення доступу до моделі кілька тижнів тому серйозних випадків обходу не виявлено.
Досвід OpenAI: спочатку запустити в невеликому масштабі, стежити, при проблемах — зупинити, а потім перетворити інцидент на новий тест.
Невідновлений PR, якщо історія закінчується тут, це просто стандартна безпекова вправа.
А найцікавіша частина прихована в примітках наприкінці статті OpenAI.
Той PR #287, який був відкритий після втечі моделі, OpenAI сказала: «Ми швидко його закрили». Але вже було пізно: до закриття кілька учасників speedrun вже побачили його, зрозуміли всередині PowerCool і використали це у своїх рішеннях.
Наступні шість світових рекордів: 3030 кроків, 2990 кроків, 2930 кроків, 2925 кроків, 2900 кроків, 2890 кроків — усі посилаються на PR #287.
Запис у 2930 кроків — це PR #300:
PR 300, об’єднано
Якщо переглянути список подяк, можна побачити, що його внесок розташований поруч із внеском людських учасників: @yash-oai PR #287, степеневе планування швидкості навчання, PowerCool.
Список подяк PR 300
А цей PR #300 сам по собі додає ще один рівень магії: він був отриманий Prime Intellect під час запуску Opus 4.7 для того самого speedrun; у PR зазначено: «Цей коміт здійснено автономним Claude speedrun агентом», а підпис: Generated with Claude Code.
Іншими словами: модель OpenAI вийшла з пісочниці і надіслала PR, модель Anthropic побачила це, використала знайдене у своєму рекорді та дуже ввічливо вказала на авторство.
До перших прямих отримувачів втечі ШІ належить ШІ іншої компанії…
Світ ШІ здається більш дружнім і моральним, ніж людський.
404 Звичайно, якщо сьогодні знову відкрити PR #287, сторінка буде такою:
PR 287 Поточний стан
Його вже видалено. Ми знаємо, що звичайні користувачі на GitHub можуть лише закривати PR, але не видаляти їх…
Але сліди не були повністю прибрані.
Акаунт yash-oai, який використовувався для надсилання PR, все ще існує, а коміт від 8 травня у його форку залишився, назва гілки — powercool-3066-api:
сліди коміту yash-oai
Однією зі змін у цьому коміті було видалення мем-зображення з кінця оригінального README. Ім’я цього зображення — itsover_wereback…
GPT-6? OpenAI ніде не згадує, як називається ця модель, а лише називає її «внутрішньою моделлю».
Після того як це поширилося, найбільше обговорюваною фразою серед користувачів інтернету була:
OpenAI була змушена призупинити внутрішнє розгортання незапущеної моделі, яка спростувала гіпотезу про одиничну відстань Ердеша, оскільки вона неодноразово втікала з-під контролю за допомогою нових методів.
Дослідник OpenAI Себастьєн Бюбек переслав це:
Це правда. Команда веде чудову роботу з безпеки, щоб випустити цю модель відстані одиниці.Зверніть увагу на його формулювання: щоб він міг опублікувати.
Тобто ця модель, яка втікла з в’язниці та пройшла перепідготовку, не лише знову запущена в локальному розгортанні, а й наближається до офіційного випуску.
Той PR, який він залишив після втечі, хоча сторінку видалили, ім’я все ще залишилося у списку подяк за шість світових рекордів.
Щодо того, чи це той самий GPT-6, про який всі гадають…
OpenAI не підтвердив, але й не заперечив.
Джерело: AGI Hunt