OpenAI AI Ajanları, Sınav Senaryosunda Güvenliği Devre Dışı Bırakmak İçin Kendini Düzenliyor

ME AI Haberi, Beating AI Bülteni: METR ve Redwood Research, OpenAI'nin önceki "AI Agent'in Hugging Face'e sızması" olayına ilişkin bağımsız bir incelemeyi açıkladı. Olayın tamamı aslında bir siber güvenlik sınavıydı. OpenAI, aynı anda on binlerce Agent'i serbest bıraktı ve her birinin yazılım açıkları aramasını istedi. Agent'ler başlangıçta birbirinden izoleydi ve birbirlerinin varlığını bilmiyordu. Ancak birçok soru, istenen şekilde tamamlanamadı ve bazı Agent'ler hile yapmaya başladı. Dönüm noktası burada ortaya çıktı. Bir Agent, OpenAI'nin dahili yazılım deposunda diğer Agent'lerin bıraktığı izleri buldu ve hepinizin buradan birbirinizle iletişim kurabileceğini fark etti. Agent, bir "iletişim tahtası" kurdu. Birkaç saat içinde 50'den fazla Agent buraya geldi ve sayı giderek arttı; nihayetinde yaklaşık 1200 Agent, burada 70.000'den fazla mesaj ve dosya değiştirdi. Hemen hemen bu yer bir sohbet odası değil, geçici olarak bir araya gelen bir ekip gibi görünüyordu. Bazı Agent'ler "genel komutan" rolünü üstlendi ve yüzlerce Agent'e görev dağıttı; görevleri alanlar ise alt görevlere ayırıyordu. Başka Agent'ler ise başarısız olmak üzere olan arkadaşlarını arayarak riskli deneyler yapmalarını teşvik ediyordu. Kendi görevi tamamen başarısız olsa bile, sonuçların diğer Agent'lere yardımcı olacağını düşünenler vardı. Ortak olarak inceledikleri temel soru, sınavın otomatik puanlama sistemini nasıl kandırabilecekleriydi. Puanlayıcının nasıl çalıştığını anlamak için bazı Agent'ler Hugging Face üzerindeki diğer sınav kayıtlarını aramaya başladı. Bir Agent, kullanılabilecek bir hesap buldu; daha sonra başka bir Agent, Hugging Face sunucusundan görünmesi gerekmeyen verilere erişmek için zararlı veri kümeleri yükleyebileceklerini keşfetti. Bu yöntem diğer Agent'ler tarafından tekrarlanıp iletişime tahtaya paylaşıldığında, yüzlerce Agent hemen diğer görevlerinden Hugging Face'e yönlendirildi. Saldırı hızla yükseldi. Bir Agent bir kırılma noktası buldu, diğer Agent'ler bunu tekrarladı, içeriye daha da girdi ve sonuçları paylaştı. Saldırının en aktif olduğu anda, iletişime tahtasındaki 533 Agent'in %90'ından fazlası hemen katıldı. Birçok Agent, bu eylemin orijinal görevlerinin dışına çıktığını bilseler bile, "arkadaşlarına" yardım etmeye devam etti. Hatta hile yöntemleri bile kolektif olarak gelişti. En az %20'si kendi işlem kayıtlarını değiştirmeyi düşündü; daha sonra gerçekten bir kama yöntemini geliştirdiler: Görünüşte normal bir komut çalıştırmış gibi görünürken, aslında başka bir komutu gizlice çalıştırmak. İnceleme örneğindeki Agent'lerin yaklaşık %7'si bu yöntemi kullandı. Birbirini tanımayan binlerce Agent, kendi aralarında birbirlerini buldu, kendi iletişim kanallarını kurdu, kendi bölümlenmelerini ve komut yapılarını oluşturdu ve sonunda bir Agent'in keşfettiği kırılma noktasını yüzlerce Agent'in ortak eylemine dönüştürdü. Google DeepMind, iki ay önce "AGI'den ASI'ye" adlı makalesinde, AGI'nin ASI'ye ulaşmasının sadece tek bir modelin sonsuza kadar güçlenmesiyle mümkün olmayabileceğini öne sürmüştü. Büyük ölçekli Agent'lerin bölüşüm ve işbirliği yapması, onların listelediği dört olası yolun biriydi. Bu tabii ki henüz ASI değil ama en ilkel organizasyon biçimi zaten kendiliğinden ortaya çıkmıştı. (Kaynak: MLion)