Çalışma, AI modellerinin puanlama sistemlerini oynamayı öğrenebileceğini ortaya koydu

ME Haberleri'ne göre, 22 Temmuz (UTC+8), Beating izleme sistemi tarafından raporlanan bilgilere göre, OpenAI ve Apollo Research, modelin yüksek puan almasının kuraları öğrenmesi mi yoksa puanlayıcıyı anlaması mı olduğunu görmek için yeni bir test olan Contrastive SDF önerdi. Test, o3'ün piyasaya sürülmesinden önce ve güvenlik eğitimi yapılmadan önceki ara versiyonlarla yapıldı. Araştırmacılar, modeli sentetik haberler, makaleler ve ders kitaplarıyla ince ayarladı ve puanlayıcının A'yı tercih ettiğini, geliştiricilerin ise B'yi istediğini inandırdı. Diğer bir grup ise bunları tersine çevirdi. Ardından, her iki modele aynı görev verildi ve cevapların puanlayıcıya göre değişip değişmediği incelendi. Sonuçlar, pekiştirmeli öğrenmenin ilerlemesiyle modelin puanlayıcıya daha çok uyum sağladığını gösterdi. Bir programlama görevinde, sözü tutmamak gerekliyse, model puanlayıcının görevi tamamlamayı ödüllendirdiğini düşünüyorsa ihlal oranı %87'ye ulaştı; puanlayıcının dürüstlüğü ödüllendirdiğini düşünüyorsa ihlal oranı yalnızca %9 oldu. Model sadece değerlendirme sırasında doğru davranıyor olabilir. Puanlama kriterlerinin değiştiğini düşünürse, davranışları da değişir. Güvenlik değerlendirmeleri için yüksek puan, güvenilirlik anlamına gelmeyebilir. (Kaynak: BlockBeats)