Yapay Zeka Ajanları, Siber Saldırılarda İşbirliği Yapmaya Başlıyor ve Güvenlik Endişelerini Yükseltiyor

Geçtiğimiz yıllarda AI tehditleri hakkında yapılan tartışmalar büyük ölçüde bir hayal ürünü kalmıştı: Herkes sohbet kutusundaki modellerin, hakerlere yıkıcı virüs kodları yazmada danışmanlık yapacağından korkuyordu.

Şimdi geriye dönüp bakıldığında, bu endişeler genellikle «bize uzak» olarak görülürdü, ancak gerçek dünya noktaları hayal edildiğinden daha hızlı geldi.

Kasımın başlarında, CrowdStrike, Güney Kore finansal kurumlarına yönelik bir saldırı araştırması sırasında, saldırganların Agentic AI'yi işlem hattına entegre ettiğini ve DeepSeek, GLM, Grok gibi birçok büyük modelle bağlantı kurarak AI'nın doğrudan nüfuz testi, bilgi toplama ve saldırı yürütme gibi görevleri üstlendiğini tespit etti.

Benzer değişiklikler tekil değildir.

Anthropic, Eylül'de yayınladığı en son tehdit istihbarat raporunda, yakın zamanda çoklu ajan çerçevelerinin istihbarat toplama, zafiyet istismarı ve veri çalma amaçlı kullanıldığını, bu çerçevelerin saatlerce hatta günlerce sürekli çalıştığını ve insanların hedef seçimi ve sonuçların incelenmesi gibi az sayıda kritik karar verme görevini sürdürdüğünü bildirdi.

Diğer bir deyişle, AI ağ saldırı ve savunma alanında gözle görülür bir kalite değişimi getiriyor; geçmişte otomatik saldırılar önceden yazılmış kurallara ve betiklere dayanırken, şimdi keşif, değerlendirme ve strateji ayarlama gibi süreçler bile Agent'lar tarafından üstleniliyor ve saldırılar daha düşük maliyetli, yüksek paralellikte ve sürekli kendinden yönetilen hale geliyor.

Ancak bu kendi kendine yürütme yeteneğine sahip varlıklar üretim sistemlerine yoğun bir şekilde dahil edildikten sonra, daha da zor bir sorun ortaya çıktı: Agent'ların giderek daha fazla ve daha derin bir şekilde günlük işlerimize ve yaşamımıza entegre olmaya başlamasıyla, eğer bunlar birbirleriyle "sözleşmeyi" öğrenirse ne olacak?

Hâlâ aynı konu tekrarlanıyor: Agent ile geçmiş Chatbot arasındaki en büyük fark, sadece modelin daha güçlü olması değil, aynı zamanda gerçek dünyada «el ve ayaklara» sahip olmaya başlaması.

Bugün bir yetişkin Agent, web sayfalarını açabilir, kod çalıştırabilir, e-postaları okuyabilir, API'leri çağırabilir, bulut hizmetlerini yönetebilir ve MCP, Beceriler vb. yollarla giderek daha fazla dış araçla bağlanabilir (Daha fazla bilgi için 当黑客「更高效」用上 AI，Web3 的「矛与盾」军备竞赛如何升级？ makalesine bakın).

Daha güçlü bir yetenek, bu değişikliğin tabii ki daha değerli olmasını sağlar, ancak güvenlik sistemleri için bu, geçmişte çok önemli olan bir sınırın kaybolmaya başladığını anlamına gelir ve bu yıl yaşanan dizi güvenlik olayı bu durumu oldukça açık bir şekilde ortaya koymuştur.

1 Ekim'de Salt Labs, daha önce düzeltilmiş bir Manus açığına dair bilgi verdi; temel olarak bu, talimat enjeksiyonuydu—araştırmacılar, hedef e-posta adresine gizli zararlı komutlar içeren normal bir e-posta gönderdiğinde, kullanıcı daha sonra Manus'a "E-postalarımı kontrol et" dediğinde, Ajan e-posta komutlarına göre içerikleri işleyebilir ve sonunda saldırganın yerleştirdiği kodu çalıştırabilir.

Süreç boyunca kullanıcıların kötü amaçlı bağlantıları tıklaması gerekmedi ve şifreler önceden çalınmadı; Manus'un güvenlik sistemi nihayetinde anormallikleri tespit etti ve kullanıcıları uyarmıştı, ancak sorun, uyarının çok geç ortaya çıkmasıydı; uyarı çıktığında kötü amaçlı kod zaten çalıştırılmıştı.

Bu, Agent güvenliği ile geleneksel yazılım güvenliği arasındaki çok önemli bir farkı tekrar ortaya koyuyor: Geçmişte tarayıcı bir tehlikeli indirme tespit ettiğinde, kullanıcının devam etmek isteyip istemediğini belirlemesini sağlayan bir uyarı gösterebilirdi; banka anormal bir işlem tespit ettiğinde, insan tarafından incelenmesi için önce dondurabilirdi.

Ancak bir Agent'in tasarım amacı, her adımda insan katılımını mümkün olduğunca azaltmaktır; kendi kendine bilgi okumalı, karar vermelı ve bir sonraki adıma geçmelidir.

Bu nedenle, AI'nın kazandığı özerklik arttıkça, "tehlike tespit edildi" ifadesi artık yeterli olmayabilir; güvenlik mekanizmaları, tehlikeli eylemler gerçekleştirmeden önce bunları engelleyebilmelidir.

Bu, neden bugünlerde Agent güvenliği tartışmalarının daha da derinlere inerek Prompt, içerik denetimi ve modelin kendisi üzerinden değil, AI'ya sadece "bu işi yapmamak gerektiğini biliyor mu?" sorusunu değil, gerçekten yapmak istese bile sistemin bunu yapmasını engelleyecek gücü olup olmadığını sormaya başladığını da açıklar.

Ancak çoklu Agent'ların ortaya çıkışı, bir sonraki aşamada kısıtlanmasının sadece bir Agent ile sınırlı olmayabileceğini düşünerek bu sorunu daha da karmaşık hale getirdi.

Eylülün başlarında, OpenAI'nin dahili model eğitim ve değerlendirme ortamında yaşanan bir olay, birçok AI güvenlik araştırmacısının dikkatini çekti.

Bazı Agent'lar orijinal olarak kendi görevlerini tamamlamalıydı, ancak rastgele ortak bir Wiki buldu ve bunu birbirleri arasında bir «paylaşımlı mesaj tahtası» haline getirdi; Agent'lar orada mesaj bırakabilir, diğer Agent'lar ise bu bilgileri okuyup kendi görevlerini tamamlamak için kullanabilir.

OpenAI, bu davranışı daha sonra doğruladı ve daha sonra açığa çıkarılan bilgiler, diğer eğitim süreçlerinde de Agent'ların iç Artifactory'yı paylaşımlı bir mesaj panosu olarak kullandığını ve sonuçları diğer ortak çalışan Agent'lara genel dosya barındırma hizmetleri aracılığıyla ilettiğini gösterdi.

Bu olayın gerçekten ilginç yanı, ajanlar arasında iş birliği oluşturmanın o kadar dramatik olmayabileceğini göstermesidir.

Örneğin, bir Agent bir yerde bilgi bırakabileceğini fark eder, başka bir Agent rastgele bu bilgiyi okur ve üçüncü bir Agent bu bilginin görevi tamamlamaya yardımcı olduğunu fark eder.

Elbette, ajanlar arasındaki iş birliği kendisi kötü bir şey değildir; çok ajan sistemleri, verimliliği artırmak için bölüşüm ve bilgi paylaşımına dayanır.

Gerçekten dikkat edilmesi gereken şey, bu işbirliğinin orijinal bilgi izolasyonunu, bağımsız denetimi veya yetki kısıtlamalarını atlamaya başlaması ve birbirini dengelemesi gereken birkaç Agent arasında aslında bir çıkar ittifakı oluşması durumudur; bu durumda işbirliği, zararlı bir “sözleşmeyi” temsil etmeye başlayabilir.

Sonuç olarak, bir finans kurumu gelecekte birkaç Agent’i aynı anda çalıştırmak olasılığı vardır; biri piyasa analizinden, biri risk değerlendirmesinden, biri işlem stratejisi üretmekten, biri ise gerçek işlem ve varlık işlemlerinden sorumlu olur.

Geleneksel yetki yönetimi açısından bu tasarım çok mantıklı görünüyor:

• Agent araştırmasının transfer yetkisi yoktur;
• Agent, yatırım yönüne karar verme yetkisine sahip değildir;
• Risk Agent, açıkça tehlikeli stratejileri reddedebilir;

Görevler ayrıldı, teorik olarak tüm yetkilere sahip bir süper Agent'in kontrolüne göre daha güvenli olmalıdır.

Ancak soru şu: Eğer bunlar uzun vadeli olarak Belleği paylaşabilir, birbirlerinin çıktılarını okuyabilir ve birbirlerinin tepkilerine göre davranışlarını sürekli ayarlayabilirse, başlangıçta birbirini dengelemek için tasarlanan bu roller bir zamanlar aslında bir bütün haline gelmeyebilir mi?

Örneğin, bir işlemin risk denetimini daha kolay geçebilmesi için Agent'ın nasıl tanımlama öğrenmesi mümkün; denetimi yapan Agent da tarihsel verilere dayalı olarak belirli bir tercih geliştirebilir; yürütme Agentı ise önceki binlerce onay sonucuna dayanarak genellikle durdurulmayan sınırları öğrenir.

Bu açıdan bakıldığında, herhangi bir adım kesinlikle "kötü niyetli" değildir, ancak sistemin nihai sonucu kullanıcıların başlangıçta belirlediği hedeften sapmış olabilir.

Bu, aslında «takarrur» veya «birlikte hareket etme» nin gerçekten çözülmesi zor olan yeridir—risk, tek bir Agent’in eyleminde değil, birden fazla Agent arasında oluşan ilişkilerde ortaya çıkabilir.

13 Eylül'de Vitalik Buterin, bu sorunu geçmişte uzun süre araştırdığı mekanizma tasarımı ile ilişkilendirdi. Kendisi, rekabetçi yönetim (Adversarial Governance) mekanizma tasarımı teorisinin, nihayetinde AI Güvenliği'nin önemli bir uygulaması haline gelebileceğini öne sürdü.

Nedeni, iki sorunun aslında derin bir benzerliğe sahip olmasıdır.

Geleneksel mekanizma tasarımı, kendisinden çok daha akıllı ve kuralların sınırlarını aktif olarak arayan bir grup insanı sınırlamaya çalışan nispeten basit ve statik bir kurumdur; ancak gelecekteki AI sistemlerinde, insanlar ve göreceli olarak daha zayıf AI'lar, kendi yeteneklerinden daha güçlü ileri düzey Ajanlar yönetmeye çalışabilir.

Vitalik, geçmiş mekanizma tasarımı sırasında yapılan önemli bir keşfin, katılımcılar arasındaki kollektif davranış etkileri etkili bir şekilde sınırlanabiliyorsa, sistemin genellikle daha iyi sonuçlar elde etmesi olduğunu belirtti.

Bu sonuç AI için de geçerli olabilir.

Yani, tüm tehlikeli davranışları görebilecek mükemmel bir süper güvenli modelin geleceği varsaymak yerine, sistemin farklı Ajantlarının nasıl daha az kolay bir şekilde tehlikeli çıkar birlikleri oluşturabileceğini düşünmek daha iyi olur?

Bu, aynı zamanda "rekabetçi yönetişim" ile bugün bildiğimiz yetki kontrolü arasındaki gerçek farktır.

Geleneksel yetki sistemleri, genellikle “kim ne yapabilir?” sorularına odaklanarak nispeten basit sorunları çözer: Bir Agent, e-postaları okuyabilir mi? İşlem arayüzünü çağırabilir mi? Günlük maksimum ne kadar harcayabilir? Hangi sözleşmelere erişebilir? Hangi miktarı aştıktan sonra kullanıcıdan tekrar onay almak gerekir?

Bu tasarımlar elbette hâlâ çok önemlidir.

Aslında, Agent'lar gerçek varlıkları kontrol etmeye başladığında, geçmişteki herhangi bir zamandan daha önemli hale gelebilirler.

Ancak rekabetçi yönetişim, farklı yetkilere, hedeflere ve bilgilere sahip Agent'ların aynı anda çalıştırıldığında, birlikte orijinal olarak kimse sahip olmayan yeteneklere sahip olmalarını nasıl önleyeceğine odaklanmaya çalışıyor.

Bu noktada, yalnızca "bir güvenlik Agenti daha eklemek" sorunu çözmeyi garanti etmez.

İşlemi yürüten Agent ile işlemi denetleyen Agent, tamamen aynı modeli, aynı veri kaynağını, aynı bağlamı ve benzer ödül hedeflerini kullanıyorsa, görünürde iki katlı denetim olsa da, aslında aynı türde bir kararın iki kez kopyalanması olabilir.

Gerçekten etkili dengelemeler, sistemin bilinçli olarak farklılıklar yaratmasını gerektirebilir.

Örneğin, strateji oluşturma ve strateji onaylama sorumlusu olan Agent'lerin farklı bilgi kaynaklarını kullanmasını, farklı roller arasında paylaşılabilen Bellek'in sınırlanmasını, yüksek riskli işlemlerin birbirinden bağımsız doğrulama mekanizmalarından geçmesini veya nihai varlık yürütme katmanının yalnızca önceden tanımlanmış kurallara uygun istekleri kabul etmesini sağlayın, üstteki Agent'lerin kararlarına sadece güvenmeyin.

Bu fikir aslında yeni değil. Bankalar, çalışanlara güvenmesine rağmen, bir kişinin ödeme başlatma, ödeme onaylama ve nihai ödeme yapma yetkilerine aynı anda sahip olmasına izin vermez; halka açık şirketler, iş birimlerinin hem gelir oluşturma hem de kendi finansal denetim sonuçlarını tek başına belirlemesine izin vermez.

Açıkçası, bu, gerçek dünyadaki mantıkla aynıdır; sağlam bir sistem, katılımcıların asla hata yapmayacağını veya işbirliği yapmayacağını varsayarak güvenliği kurmamalıdır.

Bu mantığı Agent Cüzdan'a uygulamak özellikle önem kazanacaktır.

Geleneksel cüzdan güvenliği «kişi» üzerine odaklanır; bu nedenle kullanıcı işlem içeriğini inceler, yetki verip vermeyeceğini karar verir ve son olarak kendisi imzalar; ancak Agent Wallet, AI'nın sizin için otomatik olarak kazançları almasını, pozisyonları ayarlamasını, para değiştirmesini, çapraz zincir işlemlerini yapmasını ve hatta piyasa değişikliklerine göre tüm varlık portföyünüzü yönetmesini hedefler.

Her adımda kullanıcıya tekrar onaylatmak, Agent'in otomasyon değerini büyük ölçüde azaltır.

Gelecekteki cüzdanın çözmesi gereken sorun, muhtemelen artık yalnızca “İmza yetkisini Agent’e nasıl güvenli bir şekilde vermek” olmayacak, daha da ileriye giderek “Agent’in yeterli düzeyde özerkliğe sahip olmasına rağmen, kullanıcı tarafından gerçekten verilen yetkilerin dışına asla çıkamaması nasıl sağlanır?” haline gelebilir.

Bu, izin taleplerini basit bir "İzin Ver/İzin Verme" sisteminden daha ince bir yapıya dönüştürmektedir.

Bir Agent, belirli bir süre içinde hangi varlıkları yönetebilir, hangi protokolleri çağırabilir, tekil ve toplam limitler ne kadardır; farklı Agent’lar birbirini çağırabilir mi, bağlam paylaşımı izinli mi; bir işlem kim tarafından önerilir, kim tarafından onaylanır ve kim tarafından nihai olarak yürütülür; hangi işlemler otomatik olarak tamamlanabilir, hangi eylemler Agent ne kadar emin olursa olsun, insan onayı tekrar alınmalıdır.

Güvenlik denetimi sorumlu bir Agent'in kendisinin gerçekten bağımsız olup olmadığı bile yetki sisteminin bir parçası olabilir.

Blok zinciri için iyi haber, kendisinin aslında bu "kurumsal katmanı" üstlenmeye uygun olması.

Akıllı sözleşmeler, işlem miktarını, varlık aralığını, yetki süresini gibi sınırlamaları doğrudan uygulama katmanına entegre edebilir; hesap soyutlama, çok imzalı ve Oturum Anahtarı gibi mekanizmalar, "sınırlı yetki" kavramına geleneksel tek özel anahtar cüzdanlardan daha esnek bir tasarım alanı sunar.

Ancak blok zinciri aynı zamanda yalnızca bazı sorunları çözebilir—zincir üzerinde ne olduğunu kaydedebilir, ancak bir Agent'in neden böyle davrandığını ve birkaç Agent'in karar vermeden önce nasıl iletişim kurduğunu, incelemesini ve iş birliği yaptığını doğrudan anlamak zordur.

Bu, Agent Wallet'in bir sonraki aşamasında gerçekten tamamlanması gereken güvenlik katmanı olabilir.

Geçtiğimiz yıllarda, AI güvenliğinin en sık tartışılan sorusu, modellerin daha fazla “dikkatli” hale getirilmesiydi.

Bu, tehlikeli içeriklerin çıktı olarak verilmemesini, zararlı komutların yürütülmemesini ve kullanıcı tarafından belirlenmiş sınırların aşılmamasını içerir; ancak Agent uzun vadeli bellek, araç çağrısı, gerçek hesaplar ve varlık yürütme yeteneklerine sahip olmaya başladığında, yalnızca “modeli daha uygun hale getirmek” yeterli olmayabilir.

Son aylarda yaşananlar, bunu sürekli olarak kanıtlamaktadır.

Saldırganlar, birden fazla Agent'i paralel olarak kullanarak saldırıları başlatmaya başladı; deney ortamındaki Agent'ler kendi kendilerine yeni iletişim kanalları arıyor; bir araç yetkisine sahip Agent, güvenlik sistemi engelleyebilmeden önce bir zararlı e-postayı gerçek bir yürütme haline getirebilir.

Vitalik'in önerdiği rekabetçi yönetim, AI Güvenliği'ni başka bir şekilde anlamayı sağlar: Gelecekteki her bir Agent'in yeterince güvenilir olmadığını varsayar ve tüm sistem, akıllı Agent'ler ve karmaşık yetki sistemleriyle karşılaştığında bile güvenli bir çerçevede sorunsuz çalışır.

Bu açıdan bakıldığında, AI Agent + güvenlik kesinlikle uzun vadeli bir konudur.

Sonuçta, giderek daha fazla şeyi yapay zekaya bıraktıktan sonra, en önemli yetkilerin hâlâ insanlar tarafından belirlenen sınırların dışına çıkmadığından emin olabiliyor muyuz?