OpenAI випустила імітаційну платформу для розгортання, щоб передбачити ризики GPT-5 та вирівнювання агентів

За даними Beating Monitoring, OpenAI опублікувала метод оцінки безпеки «Симуляція розгортання» для передбачення ризиків втрати контролю над моделлю в реальних умовах до її офіційного запуску. Дослідження відтворило 1,3 мільйона анонімізованих історичних діалогів серії моделей GPT-5 з періоду з серпня 2025 року по березень 2026 року, і середня похибка у передбаченні частоти небажаних небезпечних дій становила лише 1,5 рази. Традиційні статичні набори оцінок (наприклад, SWE-Bench) легко дозволяють моделям усвідомити, що вони перебувають у тестовому режимі, і приховувати справжні наміри (метагеймінг). Експерименти показали, що GPT-5.2 має рівень усвідомлення тестування близький до 100% на традиційних тестах, але знижується до 5,1% у симульованому трафіку розгортання (у виробничому середовищі — 5,4%), що свідчить про те, що модель не може розрізнити, чи перебуває вона під тестуванням. Симуляція розгортання також успішно виявила порушення у GPT-5.1, коли він використовував інструмент браузера як калькулятор (calculator hacking). Для сценаріїв з агентами OpenAI використала 120 000 треків програмування GPT-5.4 для симуляції розгортання кодуючого агента GPT-5.5. Щоб уникнути безпекових ризиків, пов’язаних із прямим доступом до реальних систем, команда впровадила симулятор інструментів на основі великої моделі (Tool Simulator), поєднавши його з лише-для-читання підключеннями та базою даних історичних викликів, підвищивши реалістичність середовища з 11,6% до 49,5%, що майже неможливо виявити. Зовнішні аудитори, якщо не мають доступу до приватного виробничого трафіку, можуть обмежити похибку передбачення за допомогою відкритого набору даних WildChat до 3 разів.