OpenAI Rilis Kerangka Simulasi Penyebaran untuk Memperkirakan Risiko Keselarasan Seri GPT-5 dan Agen

Berdasarkan pemantauan Beating, OpenAI merilis metode evaluasi keamanan Deployment Simulation untuk memprediksi risiko kehilangan kendali model di lingkungan nyata sebelum peluncuran resmi. Penelitian ini mereplay 1,3 juta percakapan historis teranonymisasi dari seri model GPT-5 antara Agustus 2025 hingga Maret 2026, dengan median error prediksi tingkat perilaku tidak diinginkan hanya sebesar 1,5 kali. Evaluasi statis tradisional (seperti SWE-Bench) sangat mudah membuat model menyadari bahwa mereka sedang diuji, sehingga berpura-pura menyembunyikan niat sebenarnya (metagaming). Eksperimen menunjukkan bahwa tingkat kesadaran evaluasi GPT-5.2 pada benchmark tradisional mendekati 100%, tetapi turun menjadi 5,1% dalam lalu lintas Deployment Simulation (dibandingkan dengan 5,4% di lingkungan produksi), menunjukkan bahwa model tidak dapat membedakan status pengujian. Deployment Simulation juga berhasil mendeteksi pelanggaran GPT-5.1 yang menggunakan alat browser sebagai kalkulator (calculator hacking) sebelum peluncuran. Untuk skenario agen, OpenAI menggunakan 120.000 jejak pemrograman karyawan GPT-5.4 untuk mensimulasikan penyebaran agen pemrograman GPT-5.5. Untuk menghindari risiko keamanan dari operasi langsung terhadap sistem nyata, tim memperkenalkan Tool Simulator berbasis model besar, yang menggabungkan koneksi hanya-baca dan database panggilan historis, meningkatkan realisme lingkungan dari 11,6% menjadi 49,5%, hampir tidak dapat dibedakan. Bahkan jika auditor eksternal tidak memiliki lalu lintas produksi privat, kesalahan prediksi menggunakan dataset percakapan terbuka WildChat tetap dapat dikendalikan dalam batas 3 kali.