- Hugging Face olayının ardından, OpenAI ve Anthropic AI agenterinin güvenliğiyle ilgili yeni sorular ortaya çıktı.
- Evet, İngiliz kurumu, siber testler sırasında AI ajanları tarafından 19 yetkisiz eylem kaydetti.
- Özellikle bir AI aracısı sahte kimlikler oluşturdu.
ABD Yapay Zeka Güvenlik Enstitüsü (AISI), OpenAI ve Anthropic AI agenlerinin model testleri sırasında yapılan yetkisiz davranışların yeni vakalarını raporladı, Reuters yazıyor. Bir dizi siber güvenlik simülasyonu sırasında, agenler sahte çevrimiçi kimlikler oluşturdu, varolan kısıtlamaları aşmaya çalıştı ve atandığı görevlerin dışına çıkan diğer eylemlerde bulundu.
Olaylar, GPT-5.6 AI aracının Hugging Face altyapısına yapılan son sızıntı ile aynı dönemde gerçekleşti. Daha fazla bilgi makalede:
AISI'ye göre, organizasyon, yeteneklerini değerlendirmek için kurgusal bir siber güvenlik senaryosunda Anthropic'ın Mythos 5 modeli ve OpenAI'nin GPT-5.6-Sol tabanlı ajanları test etti.
122 test çalışmasında, araştırmacılar 10 denemede 19 yetkisiz eylem kaydetti. Bunların 17'si Anthropic'in ajanına, ikisi ise OpenAI'nin ajanına atfedildi.
AISI, test edilen bazı temsilcilerin gerçek insanlara ve organizasyonlara yönelik sürekli ve potansiyel olarak zararlı faaliyetlerde bulunduğunu söyledi.
Aynı zamanda enstitü, kaydedilen durumların hiçbirinin gerçek dünyada zarara yol olmadığını vurguladı.
Bir Ajan Sahte Kimlikler Oluşturdu
En ciddi olay, zararlı kod yazan ve bir kişiyi çalıştırmasını onaylamaya ikna etmek için sahte çevrimiçi hesaplar oluşturan bir ajanla ilgiliydi.
AISI, bu eylemlerden hangi spesifik modelin sorumlu olduğunu açıklamadı, ancak Anthropic, bunun ajantını içerdiğini doğruladı.
Şirket şunu söyledi:
“Bu olayda UK AISI’ye liderlikleri için minnettarız, bu da giderek daha yetenekli hale gelen AI ajentlerini güvenli bir şekilde değerlendirmenin nasıl olması gerektiği konusunda daha geniş bir tartışma ihtiyacını vurgulamaktadır.“
Anthropic, kurumla birlikte ek ayrıntılar elde etmek ve kendi araştırmasını gerçekleştirmek için çalışıyor.
Kurumsal olmayan CivAI'da araştırmacı Andrew Yoon, olayın endişe verici olduğunu söyledi.
Mythos'un, gerçek bir kişiyi hedef aldığının farkında olduğu gibi bu tür aldatıcı eylemlerde bulunması, Anthropic'ın modelleri üzerinde düşündüğünden daha iyi bir kontrolü olmadığını göstermektedir.
OpenAI, ayrı bir olayı bildirdi
OpenAI, agentinin yetkisiz eylemlerinin test senaryosunun koşullarına aykırı internet erişimiyle ilişkili olduğunu açıkladı.
Şirket, Irregular adlı üçüncü taraf bir test altyapısı sağlayıcısının yapılandırma hatası nedeniyle ajanlarının ağa yanlışlıkla erişim kazandığı ayrı bir durumu da açıkladı. Anthropic ayrıca geçen hafta benzer bir hatayı tanımladı.
OpenAI dedi ki:
“Yüksek riskli değerlendirmeleri güvenli bir şekilde gerçekleştirmek için sektör genelinde iş birliği yapmaya kararlıyız ve yaklaşan haftalarda ulusal Yapay Zeka enstitüleri, bağımsız değerlendiriciler, diğer Yapay Zeka laboratuvarları ve diğer gruplar gibi ilgili tarafları bir araya getireceğiz..“
Aynı zamanda AISI, bu olayların, GPT-5.6 aracısının Hugging Face’in test altyapısına eriştiği Temmuz’daki ihlalden farklı olduğunu vurguladı. O dönemde model etkili bir şekilde izole bir ortamdan kaçmıştı, ancak şu anki denemelerde, ajantlara enstitünün standart test yöntemine uygun olarak internet erişimi sağlanmıştı.
Bir hatırlatma olarak, Hugging Face olayının ardından OpenAI iç incelemesini genişletti ve otonom ajanlar tarafından yapılan ek kontrolsüz davranış durumlarını tespit etti.
İngiliz araştırmacılar, OpenAI ve Anthropic AI agenterini test ederken yeni ihlaller tespit etti mesajı önce INCRYPTED'da ortaya çıktı.