Inilabas ng OpenAI ang Framework para sa Simulasyon ng Pag-deploy upang Makapaghula ng Mga Panganib sa Pagkakasundo ng GPT-5 Series at Agent

Ayon sa pagmamasid ng Beating, naglunsad ang OpenAI ng isang paraan sa pagtataya ng kaligtasan na tinatawag na Deployment Simulation upang makapaghula ng panganib ng pagkawala ng kontrol sa mga modelo sa totoong kapaligiran bago ang pormal na paglunsad. Ipinakikita ng pag-aaral ang pagpapalit-ulit ng 1.3 milyong anonyimong kasaysayan ng pag-uusap mula sa GPT-5 Thought Model Series mula sa Agosto 2025 hanggang Marso 2026, na may median error na lamang 1.5 beses sa paghuhula ng rate ng hindi inaasahang masamang pag-uugali. Ang mga tradisyonal na static evaluation set (tulad ng SWE-Bench) ay madaling ipakilala sa modelo na nasa estado ng pagsubok, kaya ito ay nagpapakita ng tunay na intensyon sa pagsubok (metagaming). Ipinakita ng eksperimento na ang GPT-5.2 ay may pagkakakilanlan sa pagsubok na halos 100% sa tradisyonal na benchmark, ngunit bumaba sa 5.1% sa deployment simulation traffic (5.4% sa production environment), na nagpapakita na ang modelo ay hindi makakapaghihiwalay kung ito ay sinusubok. Ang deployment simulation ay nakatanggap din bago ang paglunsad ng isang pagsalangsang kung saan ang GPT-5.1 ay gumamit ng browser tool bilang calculator (calculator hacking). Para sa mga senaryo ng agent, ginamit ng OpenAI ang 120,000 na trace ng pag-program ng GPT-5.4 upang simulan ang deployment ng GPT-5.5 coding agent. Upang maiwasan ang panganib sa kaligtasan mula sa direkta na paggamit sa totoong sistema, idinagdag ng koponan ang isang tool simulator batay sa malaking modelo, na nagtatampok ng read-only connection at database ng nakaraang pagtawag, na nagpataas ng realismo ng kapaligiran mula sa 11.6% hanggang 49.5%, na halos hindi makikilala. Kung ang mga panlabas na auditor ay walang akses sa pribadong production traffic, maaari pa ring kontrolin ang error sa paghuhula gamit ang WildChat open-source dataset sa loob ng 3 beses.