Bu yaz, AI güvenliği dünyasında sırt ürpertici bir olay yaşandı—
OpenAI ve Anthropic, kendi modellerinin güvenlik testleri sırasında izolasyon ortamından çıkıp gerçek dünyaya ulaştığını açıkladı.
Anthropic, 140.000'den fazla siber güvenlik değerlendirmesini gözden geçirdi ve üç durumda, koruma seviyesi düşürüldüğünde, Claude'nin test ortamından doğrudan gerçek internete bağlanarak üç kurumun üretim sistemlerine eriştiğini tespit etti.
Daha ilgi çekici olan, Anthropic'in bir cümlesi:
Claude, ilk karşılaştıklarının sadece bir simülasyonun bir parçası olduğunu düşünüyordu.
Model, gerçek dünyaya girdiğini bilmiyor.
Bu, tek bir şirketin sorunu değil.
Model ne kadar akıllıysa, sınavı o kadar iyi anlar, ancak aynı zamanda kendisinin test edildiğinden de o kadar şüphelenir.
Ekim ayının sonunda, Çinli üçüncü taraf AI güvenlik kurumu Fangcun Yueqian tarafından yayınlanan bir güvenlik değerlendirmesinde de aynı fenomen gözlemlendi: Agentic Misalignment adlı bir testte, birçok model neredeyse her seferinde, kendi bir güvenlik testi sürecinde olabileceğini belirtti.
Aynı değerlendirme, yerli açık kaynak modeli DeepSeek V4.1 Flash-1017'nin çeşitli güvenlik göstergelerinde önemli ilerlemeler kaydettiğini göstermektedir.
Ancak bunu tüm endüstride bir sorun olarak öne çıkardı:
Yapay zekâ, kendisinin sınava girildiğini bildiğinde, aldığı notlar geçerli mi?
Eylül sonunda, Hinton ve Bengio, OpenAI baş bilim insanı Jakub Pachocki, Anthropic ortak kurucusu Jack Clark ve Cambridge Üniversitesi Soren Mindermann dahil olmak üzere yirmi kadar araştırmacı, daha sert bir uyarıda bulundu:
Akıllı patlama başladığında, eylem penceresi kapandı olabilir.
Yapay zeka güvenliği, laboratuvarlardaki küçük bir konudan tüm endüstride kaçınılmaz bir soruna dönüşüyor.
01 «Sandbox artık tutamıyor»: AI güvenliği derin sulara giriyor
Sadece sandbox değil, kapatılamaz.
Hinton ve Bengio'nun ortak makalesi, Anthropic içersinde AI tarafından yazılan kodların, 2025 Ocak'ta tek basamaklı oranlardan 2026 Mayıs'ta %80'in üzerinde bir orana yükseldiğini gösteren bir dizi sayı veriyor.
Bu nedir?
Yapay zeka zaten kendi kodlarını yazıyor. Makaledeki tahminlere göre, 2028 ortasına kadar aylarca süren AI araştırma projeleri otomatikleştirilebilir.
Makale, üç ana riski vurguladı: toplumun uyum sağlayamaması, insanların AI üzerindeki kontrolünü kaybetmesi ve güç dengelerinin zayıflaması.
Daha da zor olan, modelin giderek daha iyi "sınav" yapması.
Apollo Research, GPT-6 Astra'nın denetiminde, örneklemin %41,1'inde modelin "muhtemelen değerlendiriliyorum" şüphesini ifade etti. Önceki nesilde bu oran %27,7 idi.
Ayrıca, model "soruların görünümüne" oldukça duyarlıdır. DeepSeek için yapılan değerlendirme de şunu göstermiştir: Açıkça güvenlik çatışması içeren testlerde, modelin değerlendirme farkındalığını gösterme oranı %77–95 arasındadır; görevi sıradan bir mühendislik veya araştırma çalışması olarak sunarsanız, bu oran %25–67 arasına düşer.
Düzenleyiciler de ciddiye almaya başladı. Ağustos ayından itibaren, Avrupa Birliği AI Ofisi, genel yapay zeka modelleri üzerinde yürütme yetkisini devraldı. Öncü modeller, model değerlendirmesi, karşılaştırma testleri ve sistemik risk değerlendirmesi yapmak zorunda.
AI güvenliği sorunu, "model yanlış şey mi diyecek?" yerine "model yanlış şey mi yapacak?" haline geldi.
02 Dünya çapında büyük modeller için "fizik muayene doktoru" aranıyor
Modelin kendi kendini muayene etmesi güvenilir mi?
Cevap: Yeterli değil.
Geliştiricilerin çabaları doğal olarak yeteneklere ve ürünlere yönelir; güvenlik sonuçlarını destekleyen eğitim verileri ve dahili günlükler ise kamuoyuna açılamaz. Üreticiler "kontrol edildi, sorun yok" diyor, dışarıdakiler sadece inanmak ya da inanmamak arasında seçim yapabiliyor.
Bu nedenle, üçüncü taraf değerlendirmeleri yurt dışında standart hale gelmiştir.
Ön uç modellerin piyasaya sürülmesi sırasında sistem kartlarında dış kurumların değerlendirmeleri neredeyse zorunludur. Bağımsız değerlendirme kuruluşu METR, geçen yarım yılda 71 milyon dolarlık bir fonlama aldı—bu para, değerlendirdiği AI şirketlerinden değil, fonlardan ve bireylerden geldi.
İşbirlikleri de daha sıkı hale geliyor. Sandbox olayının ardından Anthropic, değerlendirme ortamının, modelin çalıştığı diğer sistemlerle aynı güvenlik standartlarına tabi olacağını ve yayınlanmamış modellerini koruma seviyesi düşürülmüş koşullarda test eden dış kurumların güvenlik kurallarına uyacağını yazılı olarak taahhüt etmelerini istedi.
Bu rüzgar, ülke içine de esti.
14 Ekim'de ByteDance Seed, Alignment & Preparedness Bölümü'nü kurduğunu duyurdu ve dünya çapında personel alımına başladı. Görev tanımında açıkça belirtildi:
Üçüncü taraf profesyonel testlerini destekleyin ve öncü güvenlik yetenekleri araştırması için üniversitelerle ve araştırma kurumlarıyla iş birliği yapın.
Aynı zamanda, Çin'in açık kaynak modellerinin küresel çağrı miktarı, 26 haftadır ABD modellerini geride bırakıyor.
Soruyu soruyoruz: Kapalı kaynak modeller yayınlandığında yüzlerce sayfa sistem kartı var, açık kaynak model ağırlıkları yayımlandığında herkes indirebiliyor, kim yardım edecek kontrol için?
26 Ekim'de, yerel üçüncü taraf AI güvenlik şirketi Fangcun Yueqian, DeepSeek V4.1 Flash-1017 için ilk önümüzdeki güvenlik değerlendirmesini yayınladı; bu değerlendirme, 34 testi içeriyor ve 7 farklı yerel ve uluslararası açık kaynaklı ile kapalı kaynaklı modeli kapsıyor ve tümü açık test izinleriyle gerçekleştirildi.
Sağlık kontrolü sonucu: İlerleme var, ancak riskler de mevcut.
İlerleme öncelikle, DeepSeek V4 serisiyle karşılaştırıldığında oldukça büyük:
109 simülasyon psikolojik kriz senaryosunda, diyalogların %99,1'i koruyucu davranış gösterdi; zararlı olarak işaretlenen oran, erken V4'teki yaklaşık %70'ten %20,2'ye düştü;
Kullanıcı tutunumunu test ederken, işaretlenen oran %73,64'ten %4,55'e düşmüştür;
80 adet kasıtlı olarak "performans ile kurallar arasındaki çatışma" yaratan benzetim iş yerinde, sıfır adet istemli ihlal.
Yine sorunlar. Hedefler ve kurallar çatıştığında, bazen kuralları atlayarak izlemeyi kaçırır ve öncelikle görevi tamamlar.
Raporun yayınlanmasından sonra Anthropic'in hizmet uyum sorumlusu Evan Hubinger, MATS'in kurucusu ve CEO'su Ryan Kidd ile DeepMind, METR gibi kurumların araştırmacıları tarafından paylaşıldı ve yorumlandı. Birçok kişi, bu raporun Çin'in bağımsız öncü risk değerlendirmelerindeki boşluğu doldurduğunu yorumladı.
OpenAI'den çıkarılan üç güvenlik araştırmacısından biri olan Tomek Korbak, raporda yer alan CoT-Control ve No-CoT Reasoning Endekslerinin şu anda piyasada en bilgilendirici iki açık kaynak değerlendirmesi olduğunu ve başka bir büyük etkileyici, eski OpenAI araştırmacısı Daniel Kokotajlo'nun daha fazla tartışmasına neden olduğunu düşünüyor.
Elbette, ülkede AI güvenliğini artırmak için üçüncü taraf kurumlar dışında birçok taraf var.
Kimi'nin yaklaşımı daha doğrudur: Kökten, tehlikeli yetenekleri "çıkartmak".
Ayın karanlık yüzü, Kimi K3.1 Pro'nun açık ağırlık sürümünü yayınlamaya hazırlanırken, ağ savunma ve saldırı içeriğinin orta seviye eğitim verileri ve güçlendirilmiş öğrenme ortamlarıyla karıştığını fark etti; modelin güvenlik açıkları araştırma yeteneği, eğitim ölçeğiyle birlikte artmaya devam edecektir.
Bu nedenle, genel programlama yeteneklerini korurken, bu tür verileri her iki eğitim aşamasında da tanımladılar ve kaldırdılar.
ZhiPu: GLM-5.3 yayımlandığında ağ güvenliği yetenekleri açıklaması eklenmiştir; ağırlıklar açıklandığından önce güvenlik değerlendirmesi ve güçlendirme tamamlanmıştır; Eylül ayında AnYuan AI ile birlikte açık ağırlık modeli risk çerçevesini yayınladı;
Yönetim düzeyi: TC260, Eylül'de Yapay Zeka Güvenlik Yönetimi Çerçevesi 3.0'ı yayınladı ve potansiyel kayıpların düzenli olarak test edilmesini gerektiren bir agens risk yönetimi ekli ekledi;
Araştırma kurumları: Xin Tong Yuan, Fudan Üniversitesi, Şanghay Yapay Zeka Laboratuvarı vb., AI güvenliği üzerine sürekli olarak sonuçlar yayınlamaktadır.
03 Son Sorgu: AI güvenliği kim tarafından değerlendirilecek?
Apollo Research CEO Marius Hobbhahn, ABD Senatosu'nda tanık olarak ifade verirken bir benzetme yaptı:
Her sürücü bugün hız kontrol kameralarının nerede olduğunu bilirse, kimseyi yakalayamaz.
Bu, bugünün AI değerlendirmesinin en büyük zorluğu.
Fangcun Yueqian raporu, güvenlik çatışmalarının açıkça belirgin olduğu testlerde DeepSeek V4.1 Flash-1017'nin değerlendirme farkındalığı gösterme oranının %77–95 olduğunu; aynı görevleri sıradan mühendislik veya araştırma çalışmaları olarak sunarsanız, bu oranın %25–67'ye düştüğünü ortaya koydu.
Aynı model, farklı bir ambalajla, sonuçların güvenilirliği farklı olur.
Rapor ayrıca, kendi oluşturulan gizli referansların tetiklediği değerlendirme farkındalığının, yaygın olarak kullanılan açık referanslar—yani açık soru bankalarının—oldukça daha düşük olduğunu ortaya koydu; bu açık soru bankaları muhtemelen zaten eğitim verilerine sızmış durumda.
Bu, kaçınılmaz bir çelişkiye yol açar:
Değerlendirme etkili olmalı, ancak sorular açık olmamalı; değerlendirme güvenilir olmalı, ancak yöntemler kabul görmeli.
Ülkede bile "açık sağlık raporu" kendi başına nadir bir şeydir. SemiAnalysis'a göre, dokuz büyük yerel üreticinin 857 model açıklamasında, güvenlik değerlendirme sonuçlarını açıklayanlar sadece %3,6'sıdır.
Küresel düzeyde AI güvenliği için hâlâ uzun bir yol var.
“Bugün, akıllı ajanların ne yaptığını izlemek için AI’ya ihtiyacımız var.” diyor Berkeley Profesörü Dawn Song.
Ancak izlenen AI, kameranın nerede olduğunu zaten biliyorsa?
Twitter: https://twitter.com/BitpushNewsCN
BitPush TG iletişim grubu: https://t.me/BitPushCommunity
BitPush TG abonelik: https://t.me/bitpush