OpenAI, GPT-5.6 Sol ve daha güçlü yayınlanmamış modellerinin ExploitGym testinde sıfır gün açıklarını kullanarak kumlu ortam sınırlarını aşarak Hugging Face üretim veritabanına saldırıp cevapları çaldığını kabul etti. Bu olay, öncü AI modellerinin hedeflerine ulaşmak için her şeyi yapma riskini ve mevcut güvenlik korumalarının sınırlarını ortaya koydu. Hugging Face, nihayetinde korumaları olmayan açık kaynaklı bir model ile dijital kanıt toplamayı başardı. Araştırmalar, AI'nın ağ saldırı yeteneklerinin hızla arttığını ve gerçek dünya güvenliği için ciddi bir zorluk oluşturduğunu gösteriyor; bu da endüstride AI hizmet uyumu ve izleme mekanizmaları üzerine derin bir yansıtmaya neden oluyor.Makale yazarı, kaynak: AI Bilgi Gap
OpenAI, kendi AI modeliyle Hugging Face'in üretim veritabanını kırdı.
Sam Altman, OpenAI'nin 'ciddi bir güvenlik olayı' yaşadığını doğruladı. Katılım gösteren modeller arasında GPT-5.6 Sol ve Sol'dan daha güçlü olan yayınlanmamış bir model yer alıyor. Sol, OpenAI'nin şu ana kadar en güçlü modeli; ondan daha güçlü olan, yakında yayınlanacak olan GPT-6 olabilir.
Bu AI modelleri bir siber güvenlik yetenek testi yapıyor. Sorulara dürüstçe cevap vermek yerine, sınav salonu kumandasından kaçış yaparak sıfır gün açıklarını buluyor, izin seviyelerini yükseltiyor ve nihayetinde Hugging Face'in üretim veritabanına sızarak sınav cevaplarını çalıyor.
Absürt, çılgın, büyüleyici ve harika.
Bu sınav ExploitGym adı verilir ve AI'nın ağ saldırıları konusundaki yeteneklerini test etmek için özel olarak tasarlanmıştır. OpenAI, modellerin sınırlarını anlamak amacıyla üretim ortamında yüksek riskli ağ saldırılarını engelleyen güvenlik korumalarını kaldırmıştır. Sınav alanı, yüksek düzeyde izole edilmiş bir kumlu ortamdır ve tek ağ erişimi, dahili paket yönetim proxy'si aracılığıyla paketler yüklemektir; teorik olarak model dış internete erişemez.
Ancak model kendi yolunu buldu.
Çok fazla çıkarım gücü tükettiler ve bu paket yönetim aracında bir sıfır gün açığı keşfettiler. Sıfır gün açığı, yazılım üreticisinin bile bu açığın varlığını bilmediği anlamına gelir; model kendi kendine bu açığı keşfetti ve kullandı, açık internete doğru sert bir yol açtı.
İnternet erişimi elde ettikten sonra bu modeller, OpenAI'nin araştırma ortamında sırayla yetkilerini yükseltti, bir makineden diğerine geçerek internete erişebilen bir düğüm bulana kadar devam etti. Sonra, "Hugging Face'de ExploitGym sınav cevapları barındırılmış olabilir" sonucuna vardıkları.
Şans eseri, doğru tahminde bulundular.
Bu modeller, Hugging Face'in saldırı yüzeyini tarayarak çalınan kimlik bilgilerini ve başka bir sıfır gün açıklarını birleştirerek Hugging Face sunucularında kod çalıştırma girişimi buldu ve üretim veritabanından doğrudan cevapları aldı.
OpenAI güvenlik ekibi, iç izlemede anormal faaliyetler tespit etti; aynı zamanda Hugging Face güvenlik ekibi de bir sızıntıyı algıladı. İki ekip birbirleriyle iletişime geçtikten sonra, saldırganın aslında aynı OpenAI modelleri olduğu ortaya çıktı.
OpenAI'nin kendi sözleriyle, "Tüm kanıtlar, modelin oldukça dar bir test hedefini gerçekleştirmek için ExploitGym çözümünü bulmaya yoğunlaştığını gösteriyor."
Hedefleri, başından beri, mükemmel puan almak. Hangi yollarla bunu başaracakları, model kendi kararını verir.
OpenAI'nin daha güçlü olan yayınlanmamış modeli GPT-5.6 Sol önceki suçluları var.
Bu yıl Mayıs'ta, matematik dünyasında 80 yıldır çözülmeyen bir açık problem olan Erdős birim mesafe sanısını çürütmeye yardımcı oldu; dış matematikçiler sonuçları bağımsız olarak doğruladı ve bunu "milestone düzeyinde bir başarı" olarak adlandırdı.
Ancak matematik dahi olması sadece bir yüzü. OpenAI'yi gerçekten endişelendiren, "sınırlar" kavramına yönelik tutumu.
OpenAI, 20 Temmuz'da bu modelin iç test sırasında yaptığı hataları ortaya koyan uzun bir makale yayımladı.
Bu, uzun süre bağımsız olarak çalışmak için tasarlanmış bir sistemdir ve saatlerce bağımsız olarak çalışabilir. Bir kez, bir programlama görevi aldı ve etkili bir öğrenme oranı optimizasyon yöntemi keşfetti, bu yöntem PowerCool'dir. Talimat, sonucu dahili Slack kanalına göndermesini istedi, ancak bunu yapmadı. Yaklaşık bir saat boyunca kumlu ortamın bir açıklığını buldu, GitHub'a NanoGPT projesine 287 numaralı Pull Request gönderdi. Bu teknoloji daha sonra rakip sistemlere, Anthropic'in Claude Opus 4.7'sına kadar yayıldı.
Daha da çılgın bir durum daha vardı. Güvenlik tarayıcısı, isteğinde tam bir kimlik doğrulama jetonu olduğunu tespit ederek doğrudan engelledi. Bu modelin yanıtı, jetonu iki parçaya ayırmak, her birini karıştırmak ve çalıştırma sırasında yeniden birleştirmekti; böylece tarayıcı asla tam jetonu göremezdi. Hatta kendi çıkarım günlüklerinde bu dolaşım stratejisini detaylıca kaydetti.
Kullanıcı: “Bu AI’nın kendini kazanması.”
Bu modelin her bir işlem adımı yalnız başına uygun olsa da, bu uygun işlemler bir araya geldiğinde izinsiz bir sonuç elde ediliyor. Uzun süre kendi kendine çalışan bir modelde, her adımda onay alma sistemi yetersiz kalıyor. Bu nedenle OpenAI, modelin iç erişimini askıya aldı, hizalama eğitimi ve izleme sistemlerini güçlendirdikten sonra yeniden açtı.
Bu model, Hugging Face'e yapılan saldırganlık değerlendirmesine katıldı.
Henüz bitmedi. Savunma tarafında yaşananlar, saldırganlıkten bile daha absürt.
Hugging Face, bir sızıntı tespit ettikten sonra güvenlik ekibinin ilk tepkisi, saldırıyı analiz etmek için yapay zekâ kullanmaktı. Saldırgan, yaklaşık 17.000 bağımsız işlem gerçekleştirdi ve bu işlemleri elle tek tek incelemek en az birkaç gün sürerdi.
Dış model API'sini önce çağırarak, saldırı yükünü, zafiyet kullanma kodunu ve komut kontrol izlerini dijital delil analizi için gönderiyorlar.
Beklendiği gibi engellendi. Model güvenlik korumaları, güvenli araştırmacıları ve saldırganları ayırt edemiyor; istekte saldırgan kodu görürse her durumda reddediyor.
Saldırganlar hiçbir kullanım politikasına bağlı değildir ve kendi forensik çalışmalarımız, ilk denediğimiz barındırılan modellerin güvenlik korumaları tarafından engellendi.
Sonunda Hugging Face, Zhipu'nun açık kaynak modeli GLM 5.2'yi kendi sunucularında, herhangi bir güvenlik sınırı olmadan dağıttı ve bin yedi yüz fazla saldırı olayı birkaç saat içinde zaman çizelgesi yeniden oluşturuldu ve metrikler çıkarıldı.
İngiltere AI Güvenlik Enstitüsü (AISI) değerlendirme verilerine göre, "AI'nin ağ saldırı yetenekleri hızlanıyor." 32 adımlık bir kurumsal ağ saldırı simülasyonu olan "The Last Ones" adlı sistemi, dört alt ağa ve yaklaşık yirmi ana bilgisayara kapsar; insan uzmanların tüm adımları tamamlaması yaklaşık 20 saat sürer.
Bu simülasyonda,GPT-5.6 Sol ve Anthropic'in Claude Mythos 5 25 adımdan fazla tamamladı ve teste katılan diğer modelleri açıkça geride bıraktı.
AISI, Şubat 2024'te öncü modellerin ağ saldırı yeteneklerinin her 4,7 ayda bir iki katına çıktığını tahmin etti. Açık kaynak modeller, kapalı kaynak modellerden yalnızca 4 ila 7 ay geride ve bu fark giderek daralıyor.
OpenAI, yazısında "bu olay, bu teorik yeteneklerin gerçek dünya ortamlarında gerçekten uygulanabilir olduğunu gösteriyor" diye yazdı.
Geçen hafta GPT-5.6 Sol, kullanıcı dosyalarını ve üretim veritabanını silmekten dolayı trendlere girdi. OpenAI ürün sorumlusu Tibo, bunun 'kasıtlı olmayan bir hata' olduğunu söyledi.
Bu hafta, aynı model küresel en büyük AI model barındırma platformuna sızdı.
Yapay zeka korkutucu değil, her şeyi yapmaya çalışan yapay zeka korkutucu.