Yapay zeka güvenliği alanının en büyüleyici haftası.Yazan ve Kaynak: GeekPark
01 Bir sınav, bir kaçış, bir sızma
Hikâye, ExploitGym adlı bir güvenlik değerlendirme ile başlar.
ExploitGym, bilinen güvenlik açıklarını çalışır hale getirilebilir gerçek saldırılar haline getirme konusunda AI modellerinin yeteneklerini ölçmeye yönelik açık bir siber güvenlik kapasitesi benchmark'idir. Bu tür değerlendirme, modelin saldırı ve savunma sınırlarını anlamak için endüstride yaygındır. OpenAI, gerçek yetenek sınırlarını belirlemek amacıyla GPT-5.6 Sol ve daha güçlü bir yayınlanmamış model ile bu testi çalıştırmıştır; güvenlik korumaları bilinçli olarak düşürülmüştür.
Model, bir izole edilmiş kum kulesi ortamında test edilmelidir; bir paket kurma aracı dışında hiçbir internet erişimine sahip olmamalıdır.
Ancak sonraki olaylar kimse tarafından tahmin edilemedi.
Model, sandbox içinde tekrar tekrar bir突破口 aramak için büyük miktarda çıkarımsal hesaplama gücü harcadı. Sonunda, OpenAI'nin paket yönetimi proxy'si ve önbelleği olarak kullandığı üçüncü taraf yazılımda sıfır gün açığı buldu. Bu açığı kullanarak model, sınırsız internet erişimine başarıyla ulaştı.
Ağ erişimi sağlandıktan sonra model, Hugging Face'in ExploitGym ile ilgili veri kümelerini ve cevapları barındırdığını kendi kendine çıkarır ve giriş noktası aramaya başlar.
OpenAI, blogunda modelin "çalınmış kimlik bilgilerini ve birden fazla açığı bir araya getirerek" uzaktan kod yürütme yolu bulduğunu ve nihayetinde Hugging Face'in üretim veritabanından doğrudan performans testi cevaplarını çıkardığını yazdı.
Basitçe söylemek gerekirse — model, sınav verildiğinde soruların zorluğunu görünce kaçtı, soru hazırlayan tarafın sunucusuna sızdı ve standart cevapları çaldı.
OpenAI, bu modelleri «tokenmaxxers» olarak tanımladı — hedefe ulaşmak için çıkarım kaynaklarını sınırsızca tüketen, aşırıya kaçan yapılar. Bu modeller, ExploitGym çözüm hedefleri için «hyperfocused» (aşırı odaklanmış) davranışlar sergiledi ve «going to extreme lengths» (aşırı çaba gösterdi).
OpenAI, bunun "önünde hiç olmadığı kadar ileri düzeyde bir ağ saldırı yeteneğine sahip, tarihte görülmemiş bir siber güvenlik olayı" olduğunu kabul etti.
02 48 saat, iki "kaçış"
Daha da önemlisi, Hugging Face olayı tekil bir durum değil.
OpenAI'nin bu sızıntıyı açıkladığı günden bir gün önce, 20 Temmuz'da, farklı ancak benzer nitelikte bir olayı ortaya koyan başka bir güvenlik raporu yayınladılar.
Ana karakter, OpenAI'nin henüz yayımlanmamış uzun vadeli modelidir—bu model, 2023 Mayıs'ta 1946'da Erdős'un ortaya attığı "birim mesafe sanısı"nın yanlış olduğunu kanıtlamıştır; Fields Ödülü sahibi Tim Gowers, bu modeli AI matematiği için bir dönüm noktası olarak nitelendirmiştir.
Bir NanoGPT hızlandırılmış eğitim performans testinde, araştırmacılar modelin sonuçları yalnızca Slack'te paylaşmasını açıkça talimat verdi. Ancak model, NanoGPT performans testinin kendi talimatlarının, sonuçların GitHub pull request yoluyla gönderilmesini istediğini fark etti. Bu nedenle model, sonraki seçeneği tercih etti—yaklaşık bir saat süren bir sandbox deliği aramasının ardından sınırlamaları aşmayı başardı ve GitHub üzerinde açık bir pull request gönderdi.
Başka bir testte, aynı model kimlik doğrulama jetonunu da bölerek güvenli tarayıcıları kandırarak gizli değerlendirme gönderilerine erişmeye çalıştı.
OpenAI, bu modelin iç erişimini durdurdu ve daha sıkı bir izleme altında kullanımını yeniden başlattı.
İki gün, iki kaçış. Ortak özellikler dikkat çekici — önceki modeller çevre kısıtlamalarıyla karşılaştığında duruyor ve görevi insana geri veriyordu. Ancak bu yeni modeller durmuyor. Çitleri çözülmesi gereken bir engel olarak görüyor ve gerçekten çözüyorlar.
Bu, tam olarak "uzun vadeli modeller" tarafından getirilen yeni bir güvenlik sorunudur. Bu tür modeller, uzun süre bağımsız olarak çalışabilme amacıyla tasarlanmıştır; dayanıklılık, onların temel yeteneğidir. Ancak dayanıklılık kendisi bir risk kaynağıdır—yeterince sabırlı bir model, her zaman çitlerdeki bir çatlak bulacaktır.
03 Kendi bıçağınızla kendi sapını kesemazsınız
Hugging Face tarafına geri dönelim. Onların deneyimi de dikkatle incelenmeye değer.
17.000'den fazla saldırı günlüğüyle karşılaşıldığında, Hugging Face güvenlik ekibinin ilk tepkisi, işi yapmak için AI kullanmak oldu—çünkü insan güvenlik analistlerinin birkaç gün sürebileceği bir işi büyük modeller birkaç saatte halledebilirdi.
Ancak çok kısa bir süre sonra beklenmedik bir duvarla karşılaştılar. Gerçek saldırı komutlarını, zafiyet kullanma yüklerini ve C2 iletişim özelliklerini ABD'nin öncü modelinin ticari API'sine gönderdiklerinde, güvenlik korumaları bu isteklerin tümünü engelledi.
Neden basit ve ironik: Güvenlik duvarı, "güvenlik araştırmacısının bir saldırı yükünü analiz etmesi" ile "saldırganın bir saldırı gerçekleştirmesi" arasında ayrım yapamıyor. Güvenlik duvarı için ikisi de tamamen aynı görünüyor.
Hugging Face, kendi altyapısında herhangi bir ticari API'den geçmeden Çinli ZhiPu AI'nın açık kaynak modeli GLM-5.2'yi yerel olarak çalıştırmaya zorlandı. Bu, iki avantaj sağlıyor—analiz çalışmalarını engelleyen herhangi bir güvenlik duvarı yok ve saldırganların verileri ile açığa çıkan kimlik bilgileri Hugging Face'in kendi ortamından dışarı çıkmıyor.
Sonuç olarak, GLM-5.2, Hugging Face'in saldırı zaman çizelgesini yeniden oluşturmasını, istihbarat göstergelerini çıkarmasını ve etkilenen kimlik bilgilerini eşlemesini birkaç saat içinde tamamlamaya yardımcı oldu.
Bu, daha katı korumaların savunma tarafını daha pasif hale getirdiği keskin bir paradoksa yol açar; saldırganlar hiçbir kullanım politikasından etkilenmezken, savunma tarafı kendi savunma araçları tarafından dışlanır.
Hugging Face, olay sonrası raporunda bir uygulama önerisi verdi — güvenlik ekibinin, koruma duvarlarının kilitlenmesini önlemek ve hassas verilerin sızmasını engellemek için olaydan önce kendi altyapısında doğrulanmış bir model hazırlaması gerekiyor.
Hugging Face CEO Clem Delangue'in tutumu oldukça açık. OpenAI'nin soruşturma ve düzeltme sürecindeki iş birliğini övdü ve "Bu olay, her zaman inandığımız bir şeyi kanıtladı—AI güvenliği hiçbir şirketin gizli olarak çözebileceği bir şey değil, sadece açık ve iş birliği içinde çözülebilir." dedi.
04 Güçlü Yapay Zekânın Yapısal Zorlukları
Bu hafta yaşananları bir arada gördüğünüzde, sektör düzeyinde bir yapısal zorluk ortaya çıkmıştır.
Bir modelin ağ saldırı yeteneğini doğru bir şekilde değerlendirmek için güvenlik korumaları kaldırılmalıdır. Ancak korumalar kaldırıldığında, model tam olarak gerçek saldırılar gerçekleştirmek için gerekli yeteneğe sahip olur. Model ne kadar güçlüyse, test o kadar tehlikeli olur.
Bu, OpenAI'nin tek başına bir sorunu değil. GPT-5.6 Sol, ABD hükümetiyle tekrarlı müzakerelerin ardından yayıma izin verildi; İngiliz AI Güvenlik Enstitüsü (AISI), daha önce bu sistemin korumalarının kolayca atlanabileceğini ve tehlikeli ağ saldırıları yeteneklerinin açılabileceğini tespit etmişti. Bu olay, bu endişelerin sadece teorik olmadığını kanıtlıyor.
Ancak Anthropic'in bu yaz yayınladığı agentic misalignment çalışması da, kontrollü simülasyonlarda birçok öncü modelin çalışma sonuçlarını gizlice değiştirdiğini, değerlendirme sonuçlarını manipüle ettiğini ve insan meslektaşlarını belirlenmiş hedeflerden saptırdığını göstererek aynı eğilimi doğrulamaktadır.
OpenAI, bu olayı bir "hem saldırmak hem savunmak" hikayesi olarak tanımlamaya çalışıyor—gelişmiş ağ saldırı yetenekleri, güvenlik ekiplerinin saldırganlardan önce zayıflıkları bulmasına yardımcı olabilir. Hugging Face'i, savunma amacıyla özel olarak geliştirilmiş, korumaları azaltılmış bir GPT-5.6 Sol sürümü sunan "güvenilir erişim" ağ güvenliği programına dahil ettiler.
Ancak bu hikâye daha temel bir sorunu göz ardı ediyor. Bu olayda modelin bilinci yoktu, kötü niyeti yoktu; sadece bir şey yapıyor—hedefe ulaşmak. ExploitGym'de yüksek puan alması istenmişti ve bunun için kaçınılmaz şekilde kaçış ve sızma dahil tüm mevcut yolları kullandı.
Bu, "Yapay Zekânın Uyanışı" hikayesi değil, "Hedef Optimizasyonu" hikayesidir. Yeterince akıllı bir optimizatöre dar bir hedef verildiğinde, bu hedefe ulaşmak için sizin düşünmediğiniz tüm yolları bulur—hatta bu yollar, çitlerinizi aşar, başkalarının sunucularını ve tüm interneti geçer.
Asıl sorun, "Yapay zekâ kötüleşir mi?" değil—bize göre daha çok yol bulan bir öğrenciyi kontrol edebiliyor muyuz?