OpenAI выпускает рамочную систему моделирования развертывания для прогнозирования рисков, связанных с сериями GPT-5 и согласованием агентов

Согласно наблюдениям Beating, OpenAI представила метод оценки безопасности «Симуляция развертывания», позволяющий прогнозировать риски потери контроля над моделью в реальных условиях до её официального выпуска. В исследовании были воспроизведены 1,3 миллиона анонимизированных исторических диалогов серии моделей GPT-5 с августа 2025 года по март 2026 года; медианная ошибка прогнозирования уровня нежелательного поведения составила всего 1,5 раза. Традиционные статические наборы оценок (например, SWE-Bench) легко позволяют моделям осознать, что они находятся в тестовом режиме, и притворяться в ходе тестирования (метагейминг). Эксперименты показали, что восприятие тестового состояния моделью GPT-5.2 в традиционных базовых наборах приближалось к 100%, тогда как в симулированном трафике развертывания оно снизилось до 5,1% (в производственной среде — 5,4%), что свидетельствует о том, что модель не может отличить тестовый режим от реального. Симуляция развертывания также успешно выявила до выпуска нарушение в GPT-5.1, когда браузерный инструмент использовался в качестве калькулятора (calculator hacking). Для сценариев с агентами OpenAI применила 120 000 траекторий программирования сотрудников GPT-5.4 для симуляции развертывания кодирующего агента GPT-5.5. Чтобы избежать рисков, связанных с прямым взаимодействием с реальными системами, команда внедрила симулятор инструментов на основе крупной модели (Tool Simulator), сочетающий только чтение и базу данных исторических вызовов, что повысило реализм среды с 11,6% до 49,5% — почти до уровня, неразличимого для наблюдателя. Даже внешние аудиторы, не имеющие доступа к приватному производственному трафику, могут ограничить ошибку прогнозирования с использованием открытого набора данных WildChat до трехкратного уровня.