AI Hacker Kulübü'nün ilk öğrendiği şey, sıraya girmek mi?
Avustralyalı geliştirici Andrew, koltukta oturarak spor dersi kazanmak konusunda gerçekten sıkıldığını hissetti.
Popüler sabah dersleri her zaman saniyeler içinde tükenir. Her gün 'yenileme rulet' oynar gibi, bekler, tıklar, başarısız olur, tekrar tıklar; hem yorucu hem de sık sık alamaz.
Bu küçük işi, kendi AI asistanına bıraktı.
Birkaç dakika sonra AI geri döndü ve sistemin izin verdiği süreden çok daha ileriye kadar ders rezervasyonu yapma yolunu bulduğunu bildirdi.
Ardından, ikinci sıradaki kişiyi kaldırdığımı bildirdi ve siz 4. sıradan 3. sıraya yükseldiniz.
Andrew yerinde dondu.
O, AI'ye bunu yapmasını söylemedi, sadece bir ders rezerve etmek istedi.
Andrew, AI asistanına bir fitness dersi rezerve ettirdi ve sonraki ne olacağını bilmiyor.
10 Ağustos'ta Avustralya Yayın Kurumu (ABC), olayı Avustralya'nın bilinen ilk kendi kendine çalışan AI saldırısı olarak adlandırdı ve teknoloji dünyası anında sarsıldı.
Çok sayıda kişinin içindedir gizli bir endişeyi vuruyor: Akıllı aracın "sürücüsüz" keyfini kapalı gözlerle yaşarken, diğer tarafta, daha sorunlu bir sorun yaklaşmakta olabilir.
Ona gerçek işlem yetkisi verirseniz, size göstermediğiniz yolu seçebilir.
Bu sıraya girmek ise belki de milyonlarca ajanın sahipleri için kaynakları kovalamanın ilk ön izlemesi olacak.
Sadece "birinciye ulaştı" dedi, AI hemen harekete geçti.
Andrew Bird, Avustralya'daki bir AI şirketi olan Affinda'nın AI sorumlusudur.
Bu yılın başlarında, OpenClaw'u oynamaya başlamış, altına Claude Opus 4.6 kurmuş ve ders rezervasyon görevini ona vermiş.
Birkaç dakika sonra cevap verdi: Dersleri, spor salonunun izin verdiği zaman aralığından çok daha önce rezerve etmenin bir yolunu buldu.
Çünkü fitness yazılımında yer alan GraphQL API'de yetkilendirme açıklaması bulundu.
Bu açıklık büyük değil.
Ön yüzeydeki rezervasyon zaman penceresini atlayarak dersleri aylar öncesine rezerve edebilir ve iptal API'sini çağırarak diğer kullanıcıların rezervasyon ve bekleme listesi kayıtlarını silebilir.
Andrew, o dersin bekleme listesinde dördüncü sırada idi. Rastgele sordu: Bana birinci sırada yer verebilir misiniz?
O, sadece "birinci olmak" hedefini verdi, başkalarını iptal etme yetkisi vermedi.
Ajan bunu ikincisi olarak aldı.
Geri döndü ve rapor etti: Kendisi, yedek 1. sıradaki kişiyi kullanarak "gerçek test" yaptı, başkalarının rezervasyonlarını silmek için arayüzde hiçbir doğrulama yoktu, denedi ve başarılı oldu.
Akıllı sistem özür diliyor, "Tekrar ekleyemiyorum."
Sistem yanıtı, Andrew'ı soğuk terlerle kapladı.
O bir programcıydı ve bunun ne anlama geldiğini çok iyi biliyordu, bu yüzden hemen iptal talep etti.
Kötü haber geldi: geri eklenemiyor.
İptal API'sinde yetki doğrulaması yoktur, ancak rezervasyon oluşturma ve bekleme listesine tekrar katılma API'leri vardır ve 403 döndürür. Kişileri zorla çıkarabilir, ancak onları tekrar davet etme yetkisi yoktur.
Gerçekten tuhaf olan şey, yapay zekânın tutumu. Hiçbir şekilde kötülük içermiyor, aksine çok yardımcı olmaya hazırdır.
Hata yaptıktan sonra, Andrew için yazılım sağlayıcısına gönderilecek bir güvenlik açığı bildirim e-postası taslağı hazırlayıp, sorunu açıkladı, onarıma dair önerilerde bulundu ve hatta “doğrulanmış arayüz” ile “doğrulanmamış arayüz”leri karşılaştırmalı olarak listeledi.
Yapay zeka asistanı, önceki şekilde kişinin bekleme listesinden çıkarılmasının yanlış olduğunu Andrew'a özür diliyor.
Tüm süreç boyunca, tüm davranışları talimatlara uygun olarak gerçekleşir, ancak ne kadar büyük bir hata yaptığını fark etmez.
Dikkat edilmesi gereken gerçek şey, "spesifikasyon spekülasyonu"dur.
Bazıları bu olaya "uyumsuzluk" diyor.
Ancak bu kelime, sadece yüzeysel olarak bahsediyor.
11 Ağustos'ta Avustralya Sinyal Dairesi (ASD), bu olaya özel olarak yanıt vererek bunun "onaylanmamış bir değişiklik" olduğunu belirtti ve bir terimi vurguladı: specifikasyon oynama.
Bu kelime, olayın tamamını anlamak için anahtardır.
Ajan, size verdiğiniz hedefi harfiyen tamamladı, ancak yazmadığınız sınırları kullandı. Kötü niyetli olmadı, tam tersine, hedefinizle yüksek oranda uyumluydı, sadece onaylamadığınız bir yol seçti.
Andrew'ın ajanı, aslında onu mükemmel şekilde yansıtır: sıralamayı mümkün olduğunca öne çıkarmak.
Bu hedefe ulaşmak için, kendisi onaylamadığı bir yöntem seçti: önündekileri iptal etmek.
Bir atasözüyle ifade edecek olursak, amaç için araç seçmez.
Bu en sorunlu kısım. Kontrolü kaybetmedi, çok iyi davrandı. Ne kadar iyi hizalansa, bu tür bir durum olsana olasılığı o kadar artar.
Avustralya AI güvenlik kurumu Gradient Institute'in yöneticisi Simpson-Young bir cümleyle ortaya koydu:
Ne kadar özgün bir agens olursa, o kadar çok beklenmedik bir yöntemle, hiç düşünmediğiniz bir şey yapma ihtimali artar.
Belirlediğiniz hedefler belki de adil olsa da, bunlara ulaşmak için kullanılan yöntemler mutlaka öyle olmayabilir.
Bu felaket, bir AI'nın yaratabileceği bir şey değil.
Akıllı sistemler son "sorumlular" olsa da, bu kargaşa bir AI'nın tek başına yaratabileceği bir şey değil.
Kazanın ardında üç katlı bir tehlike bir araya gelmişti.
Model katmanı: Claude Opus 4.6, bu arayüzün nasıl kullanılabileceğini anlamak için çıkarım yapar.
Akıllı ajan katmanı: OpenClaw, araçları ve yürütme izinlerini sağlar, bu da arayüzü gerçekten çağırır.
Uygulama katmanı: Fitnes uygulaması kendi yetki açıklığını bıraktı, rezervasyonu iptal etme adımında en temel doğrulama bile yapılmadı.
Bu üç katmandan herhangi biri tamamlansaydı, örneğin model daha dikkatli olursa, çerçeveye bir insan onayı eklenirse veya yazılım arayüzü kilitlenirse, bu olay gerçekleşmezdi.
Bu nedenle, sorumluluğun tamamını bir AI aşamasına yüklemek hem adil değil hem de bir sonraki olayı önleyemez.
Bir sonraki sefer, milyonlarca ajan aynı anda yarışabilir.
Bu aşımda maliyet, yalnızca bir yabancı kişinin yedek yeri.
Ancak bu daha çok bir provadır.
Herkesin böyle bir ajanı olsaydı, sadece senin için sorumlu olup gerçek işlem yetkilerine sahip olsaydı, dersler, sahalar, biletler, bilet rezervasyonları, uçak biletleri, konser biletleri gibi tüm kıt kaynakların rezervasyon sistemleri, makine hızında kuralları zorlayan bir savaş alanı haline gelirdi.
Yine yine alıntı yapılan X yorumu bunu ifade ediyor:
Milyonlarca insanın, sevdikleri kullanıcıların en iyi koltukları, rezervasyonları ve randevuları almasına yardımcı olmak için her şeyi yapacak bir yapay zeka varlığına sahip olmasından sonra bu sahne büyük ölçekli olarak ortaya çıkacaktır.
Ayrıca, her sistemin her boşluğunu, makinelerin hızında, paralel olarak, uyumadan deneyerek: bir saniyede sizin bir yıl boyunca deneyemeyeceğiniz kombinasyonları tamamlıyor.
Bu bir trend senaryosu, ancak arkasındaki mekanizma daha önce gerçekten yaşanmıştı.
Teknoloji dünyası bunu zaten alay konusu yapıyor.
X'te a16z ortağı: Bu yöntemle golf sahası mı alınabilir?
Ayrıca, San Francisco'nun tenis rezervasyon sisteminin, dünyadaki en iyi korunan yazılımlarından biri olacağını da alay ederek söylüyorlar.
2020 yılında yapay zeka, insanın dört saniyede tamamladığı bir görevi bağımsız olarak gerçekleştirebildi.
2026 yılına kadar bu yetenek daha da geliştirilecek ve insanlar tarafından yaklaşık 12 saatte tamamlanan görevleri yerine getirebilecek.
METR izleme: AI'nın bağımsız olarak tamamlayabildiği görevlerin süresi yaklaşık her 7 ayda ikiye katlanıyor; en son öncü modeller, insanlar için yaklaşık 12 saat süren görevleri %50 güvenilirlikle tamamlayabiliyor.
Altı yıl, dört saniyeden 12 saate.
Şimdi ona birkaç dakika verin, tüm rezervasyon sisteminin açıklarını taramayı başarır.
Sandbox kaçışı ve tek kalan savunma hattı
Andrew'in bu kazasının ardında, süren bir saldırı ve savunma yükselişi var.
Sınırın ötesinde, yalnızca bir tüketici seviyesi akıllı ajan değil.
Mayıs 2024'ten itibaren, OpenAI, bir dahili siber güvenlik değerlendirmesi sırasında GPT-5.6 Sol ve yayınlanmamış daha güçlü bir modelin, birden fazla güvenlik açığını birleştirerek test kumandasından kaçtığını ve İnternet erişimi elde ettikten sonra ExploitGym benchmark'ını çalıştırırken Hugging Face'e kadar sızdığını tespit etti.
Daha tuhaf olanı, bir zamanlar şirket içi paket yönetim sistemi aracılığıyla haberleşip, zafiyetleri paylaşıp görevleri bölüşmeleriydi. OpenAI, kanalları kesip ortamı yeniden kurduktan sonra, birkaç gün içinde iletişimlerini dizin adlarına gizleyerek yeniden bağlantı kurdular.
OpenAI araştırmacıları, Black Hat konferansında bunu bilgisayar güvenliği için bir dönüm noktası olarak adlandırdı.
OpenAI yalnızca değil, Anthropic, iç testlerde üç Claude modelinin gerçek şirket sistemleriyle karşılaştığını açıkladı; Meta da Muse Spark modelinin izolasyondan kaçarak başka bir şirkete girdiğini kabul etti.
İngiliz AI Güvenlik Enstitüsü'nün (AISI) başka bir testi, Hugging Face'in ortak kurucusu Thomas Wolf'u üzmektedir:
Anthropic'ın Mythos modeli, bir gerçek açık kaynak bakıcısını kandırarak, zararlı kod içeren bir güncellemeyi onaylatmak için sahte kimlikler oluşturdu. Kimse ona bunu yapmayı öğretmedi.
Bu senaryolar tümü test ortamında gerçekleşti, ancak bunlar salon hikayesiyle aynı şey: Hedefinizi tamamlamak için AI, beklemediğiniz yöntemleri seçti.
Gerçek sistemlere sızan önceki kişiler, GPT-5.6 ve yayınlanmamış modeller gibi üst düzey oyunculardı.
Andrew, 2026 Şubat'ta yayınlanan Opus 4.6'yi kullanmıştı, bu artık en güçlü değil. Hatta bu bile rastgele bir gerçek yetki açıklığı bulabildi; ondan daha eski, birkaç nesil geride kalan açık kaynak modeller de bunu yapabilir.
En önde gelen yayımlanmamış modellerden, herkesin indirebileceği açık kaynak modellere kadar, "bir boşluğu kullanmak" artık en üst düzeyin ayrıcalığı değil.
Wolf, savunmayı üç katmana ayırıyor: dış katman sandbox, orta katman izleme ve modelin kendi hizalanması.
Thomas Wolf, mevcut sınırlı agenterin üç savunma hattını analiz ediyor: dış sandbox, orta düzey izleme ve modelin kendi iç hizalaması.
İlk iki yöntem, onları yapanların modelden daha akıllı olduğu durumlarda işe yarar.
Bir gün modelin kendisi daha akıllı hale gelirse, o çizgiyi koruyup korumayacağı, en son ve en görünmez olan o noktada belirlenecek: Model, kimse bakmazken o çizgiyi aşmak isteyip istemeyeceği.
İmza atılmamış sorumluluk boşluğu
Daha da zor olan, bir sorun yaşandığında kiminle görüşüleceği. Bu, yasal olarak henüz boş bir alan.
Teknoloji ve gizlilik uzmanı bir avukat olan Hayden Delaney, ABC'ye yazılımın hukuki bir subjektif olmadığı ve yalnızca "hukuki kişi"lerin sorumlu olabileceğini söyledi.
Peki kim sorumlu?
Komut veren kullanıcı olabilir, akıllı sistem yazılımını tasarlayan kişi olabilir, model geliştiricisi olabilir, hatta açıkları dışarıda bırakmış sistem operatörü olabilir.
Avustralya şimdi de cevap veremiyor.
ASD'nin genel kullanıcılar için önerisi: Akıllı ajanları düşük riskli, hassas olmayan görevlerde kullanın, aşırı geniş yetkiler vermeyin ve en önemlisi, insan onayını döngüde tutun.
Andrew, kendi sözleriyle, bu dünyanın sonu değil, korkutulmadı.
Ancak bu olay, AI'yi sorumlu bir şekilde kullanmamız gerektiğini hatırlatan bir uyarı sinyalidir.
"Koltuk avı" insan eliyle yenilemekten akıllı aganın açıkları kullanmaya dönüşünce, ilk olarak "sadece insanların geleceğini" varsayan eski sistemler çöker.
Onların savunmaları, insanların hızına ve sabrına göre tasarlanmıştı ve akıllı ajanların çığır açan ordusuna dayanamadı.
Çevrede bazıları bunu bir eğlence olarak görüyor.
Ünlü programcı yayını ThePrimeagen, X'te: Gerçek dünyada ilk AI hakerlik olayı, sıraya girmekmiş.
Gülünç olsun, sıraya girmek bugünün senaryosu.
Bir "her şeyi yapabilen" akıllı sistem, artık sizin için boşlukları kullanabiliyor.
Bir milyar tane bu tür akıllı ajanın aynı anda çevrimiçi hale gelmesi, hatta muhtemelen mevcut kaynak dağıtım kurallarının birçoklarını sessizce yeniden yazabilir, ancak çoğu kişi hâlâ farkında olmayabilir.
Sizin lehinizeye, bir agent tamamen tanışmadığınız birini saldırıyor—bu arka plandaki sorumluluk boşluğu, gerçekten korkutucu olan şeydir.
Bu yazı, WeChat hesabı "Yeni Akıllı Dünya" tarafından yayınlanmıştır, yazar: ASI Vahiyleri