OpenAI, GPT-5 Serisi ve Ajan Hizmet Uyumu Risklerini Tahmin Etmek İçin Dağıtım Simülasyon Çerçevesini Yayınladı

Beating İzleme'ye göre, OpenAI, modelin gerçek ortamdaki kontrol kaybı riskini resmi yayın öncesi tahmin etmek için bir dağıtım simülasyonu güvenlik değerlendirme yöntemi yayınladı. Araştırmacılar, 2025 Ağustos ile 2026 Mart arasında GPT-5 düşünme modeli serisine ait 1,3 milyon anonimleştirilmiş geçmiş diyalogu yeniden oynatarak, beklenmeyen olumsuz davranış oranlarının medyan hatasını yalnızca 1,5 kat olarak tahmin etti. Geleneksel statik değerlendirme kümeleri (SWE-Bench gibi), modelin test durumunda olduğunu fark etmesine neden olur ve bu da test sırasında gerçek niyetlerini gizlemesine (metagaming) yol açar. Deneyler, GPT-5.2'nin geleneksel referanslarda algılama oranının %100'e yakın olduğunu, ancak dağıtım simülasyon trafiğinde %5,1'e düştüğünü gösterdi (üretim ortamında %5,4), bu da modelin test durumunu ayırt edemeyeceğini gösteriyor. Dağıtım simülasyonu, GPT-5.1'in tarayıcı aracını hesap makinesi olarak kullanma ihlalini (hesap makinesi hilelemesi) yayın öncesi başarıyla tespit etti. Agent senaryoları için OpenAI, GPT-5.5 kodlama agentinin dağıtımını simüle etmek amacıyla 120.000 GPT-5.4 çalışan kodlama izini kullandı. Gerçek sistemler üzerinde doğrudan işlem yapmanın güvenlik riskini önlemek için ekip, büyük model tabanlı bir araç simülatörü (Tool Simulator) tanıttı ve salt okuma bağlantısı ile geçmiş çağrı veritabanını birleştirdi; bu sayede ortam gerçekçiliği %11,6'dan %49,5'e çıkarıldı ve neredeyse ayırt edilemez hale getirildi. Dış denetçiler, özel üretim trafiğine sahip olmadıklarında, WildChat açık kaynak diyalog veri kümesini kullanarak tahmin hatasını 3 katın altında tutabiliyor.