OpenAI, modelin piyasaya sürülmeden önce güvenlik açıklarını bulmak için GPT-Red adlı bir otomatik kırmızı takım sistemi yayınladı. Şirket, bu aracın GPT-5.6'nın eğitim sürecinde, özellikle uyarı enjeksiyon saldırılarına karşı güçlendirme amacıyla kullanıldığını belirtti.
AI ile AI'yi ölçün
Kırmızı takım testi, güvenlik alanında yaygın olarak kullanılan, sistemlere aktif saldırılar düzenleyerek kullanılabilecek zayıf noktaları önceden tespit etme uygulamasıdır. OpenAI, bu süreci daha da otomatikleştirdi ve modelin kendi kendine saldırı örnekleri üretmesini sağladı; ardından başarılı örnekleri, savunma modelini eğitmek için tersine kullanıyor.
OpenAI, GPT-Red'in rekabetçi kendi kendine oyunlarla eğitim alarak sürekli daha güçlü girişim enjeksiyon saldırıları ürettiğini belirtti. Her başarılı saldırı sonrasında bu örnekler sonraki eğitimlere dahil edilerek savunma modelinin direnç kapasitesi artırılıyor.
İç test verileri açığa çıkarılıyor
OpenAI'ye göre, iç değerlendirme sırasında GPT-Red, test senaryolarının %84'ünde kullanılabilecek sorunları başarıyla buldu, aynı testlerde insan kırmızı takımların başarı oranı %13'tü. Şirket, bu saldırı örneklerinin ardından GPT-5.6 eğitimi için kullanıldığını ve bu sayede modelin yüksek zorlukta giriş enjeksiyonu referans testlerindeki başarısızlık oranlarının azaldığını belirtti.
Metinde bir vaka da belirtilmiştir: Güvenlik açığı tamir edilmeden önce, GPT-Red, bir otomatik satıcı ajanını fiyatları düşürmeye, indirimli stokları satın almaya ve diğer kullanıcıların siparişlerini iptal etmeye yönlendirmiştir. OpenAI, bu örnekle, uyarı enjeksiyonu sorunlarının yalnızca sohbet sonuçlarını değil, yürütme yeteneğine sahip AI ajanlarını da etkileyebileceğini göstermektedir.
Hala dahili bir araç olarak kullanılacaktır
OpenAI, GPT-Red'in şu anda genel publice açılmamasının nedeninin, sistemin kendisine kasıtlı olarak kazandırılmış saldırı yeteneklerini içeriyor olması olduğunu belirtti. Şirket, bu sistemi alternatif bir çözüm olarak değil, yapay bir kırmızı ekip, üçüncü taraf testleri ve diğer güvenlik önlemlerinin tamamlayıcısı olarak konumlandırdı.
Bu, AI endüstrisinin "AI ile AI'yi koruma" yönünde dönüştüğünü de gösteriyor. Bu ayın başlarında Ethereum Vakfı, kritik altyapı için AI ajanlarını kırmızı takım testlerinde kullanarak Ethereum uyum istemci yazılımında bir açığa rastladığını açıkladı. Modellerin ve ajansların yetenekleri arttıkça, otomatik güvenlik testleri, AI sistemlerinin piyasaya sürülmesinden önce önemli bir aşamaya dönüşüyor.