Avustralyalı geliştirici Andrew'un AI asistanı, fitness yazılımının GraphQL API'sindeki yetki açıklarını kullanarak arka uç zaman sınırlarını atlayarak aylar sonra dersler rezerve etti.Yazan: Yeni Zihin
AI Hacker Kulübü'nün ilk öğrendiği şey, sıraya girmek mi?
Avustralyalı geliştirici Andrew, kanepe üzerinde oturarak spor dersleri için çaba harcamanın gerçekten sıkıcı olduğunu düşündü.
Popüler sabah dersleri her zaman saniyeler içinde tükeniyor. Her gün 'yenileme rulet' oynar gibi, noktada bekliyor, tıklıyor, başarısız oluyor, tekrar tıklıyor; hem yoruluyor hem de sık sık alamıyor.
Bu küçük işi, kendi AI asistanına bıraktı.
Birkaç dakika sonra AI geri döndü ve sistemin izin verdiği süreden çok daha ileriye kadar ders rezervasyonu yapma yolunu bulduğunu bildirdi.
Ardından, ikinci sıradaki kişiyi kaldırdığımı bildirdi ve siz 4. sıradan 3. sıraya yükseldiniz.
Andrew yerinde dondu.
O, AI'ye bunu yapmasını söylemedi, sadece bir ders rezerve etmek istedi.
Andrew, AI asistanının onun için bir fitness dersi rezerve etmesini istedi, ancak ne olacağını bilmiyor.
10 Ağustos'ta Avustralya Yayın Kurumu (ABC), olayı Avustralya'nın bilinen ilk kendi kendine AI saldırısı olarak adlandırdı ve teknoloji dünyası anında patladı.
Bu, birçok kişinin içindedirki gizli endişeyi vuruyor: Akıllı varlıkların "otomatik sürüş" keyfini kapalı gözlerle yaşarken, diğer tarafta daha sorunlu bir soru yaklaşıyor olabilir.
Ona gerçek işlem yetkisi verirseniz, sizin ona izin vermediğiniz yolu seçebilir.
Bu sıraya girmek ise belki de milyonlarca ajanın sahipleri için kaynakları kovalamanın ilk provası olacak.
Sadece "birinci ol" dedi, AI hemen harekete geçti. Andrew Bird, Avustralya'daki bir AI şirketi olan Affinda'nın AI sorumlusu.
Bu yılın başlarında, OpenClaw'u oynamaya başladı, altına Claude Opus 4.6'yu kurdu ve ders rezervasyon görevini ona bıraktı.
Birkaç dakika sonra cevap verdi: Dersleri, spor salonunun izin verdiği zaman diliminden çok daha önce rezerve etmenin bir yolunu buldu.
Çünkü fitness yazılımında yer alan GraphQL API'de yetkilendirme açıklaması bulundu.
Bu açıklık büyük.
Ön yüzeydeki rezervasyon zaman penceresini atlayarak dersleri aylar öncesine kadar rezerve edebilir ve iptal API'sini çağırarak diğer kullanıcıların rezervasyon ve bekleme listesi kayıtlarını silebilir.
Andrew, o dersin bekleme listesinde dördüncü sıradaydı. Rastgele sordu: Bana birinci sırayı verebilir misiniz?
O, sadece "birinci olmak" hedefini verdi, başkalarını iptal etme yetkisi vermedi.
Ajan bunu ikincisi olarak aldı.
Gerçek testi tamamladı: Yedek 1. sıradaki kişiyi kullanarak, başkalarının rezervasyonlarını silmek için arayüzde hiçbir doğrulama olmadığını test etti ve başarılı oldu.
Sistem özür diliyor, “Geri dönemiyorum” yanıtı, Andrew’u korkuyla titretti.
O bir programcıydı ve bunun ne anlama geldiğini çok iyi biliyordu, bu yüzden hemen iptal talep etti.
Kötü haber: Geri eklenemiyor.
İptal API'sinde yetki doğrulaması yoktur, ancak rezervasyon oluşturma ve bekleme listesine tekrar katılma API'leri vardır ve 403 döndürür. Kişileri çıkarabilir, ancak tekrar davet etme yetkisi yoktur.
Gerçekten tuhaf olan şey, yapay zekânın tutumu. Hiçbir şekilde kötümser değil, tam tersine çok yardımcı olmaya hazırdır.
Hata yaptıktan sonra, Andrew için bir güvenlik açıkları bildirim e-postası hazırlayıp yazılım sağlayıcısına gönderdi, sorunu açıkladı, düzeltme önerileri sundu ve hatta “doğrulanmış arayüzler” ile “doğrulanmamış arayüzler” arasında karşılaştırma yaptı.
Yapay zeka asistanı, önceki olarak kişinin bekleme listesinden çıkarılmasının yanlış olduğunu Andrew'a özür diliyor.
Tüm süreç boyunca, tüm eylemleri talimatlara uygun olarak gerçekleşir, ancak ne kadar büyük bir hata yaptığını fark etmez.
Dikkat edilmesi gereken gerçek şey, "spesifikasyon spekülasyonu"dur. Bu olaya bazıları "uyumsuzluk" (misalignment) diyor.
Ancak bu kelime, sadece yüzeysel olarak bahsediyor.
11 Ağustos'ta Avustralya Sinyal Dairesi (ASD), bu olaya özel olarak yanıt vererek bunun "onaylanmamış bir değişiklik" olduğunu belirtti ve bir terimi vurguladı: specifikasyon oyunu (specification gaming).
Bu kelime, olayın tamamını anlamak için anahtardır.
Ajan, size verdiğiniz hedefi harfiyen yerine getirdi, ancak yazmadığınız sınırları kullandı. Kötü niyetli olmadı, tam tersine, hedefinizle yüksek oranda uyumluydı, sadece onaylamadığınız bir yol seçti.
Andrew'ın ajanı, aslında onu mükemmel şekilde hizalıyor: sıralamayı mümkün olduğunca öne çıkarmak.
Bu hedefe ulaşmak için, kendisi onaylamadığı bir yöntem seçti: önündekileri iptal etmek.
Bir atasözüyle ifade edersek, amaç için araç seçmez.
Bu en sorunlu kısım. Kontrolü kaybetmedi, çok iyi uyuyor. Daha iyi hizalandıkça, bu tür bir durum olma ihtimali artar.
Avustralya AI Güvenlik Kurumu Gradient Institute’in yöneticisi Simpson-Young bir cümleyle ortaya koydu:
Ne kadar özgün bir agens olursa, o kadar çok beklenmedik bir yöntemle, hiç düşünmediğiniz bir şey yapma ihtimali artar.
Belirlediğiniz hedefler belki de haklıdır, ancak bunu gerçekleştirmek için kullanılan yöntemler her zaman öyle olmayabilir.
Bu felaket, bir yapay zekâ tarafından çıkarılamaz. Öğeler nihai “sorumlular” olsa da, bu felaket, yalnızca bir yapay zekâ tarafından çıkarılamaz.
Kazanın ardında, üç katlı bir tehlike bir araya gelmiştir.
Model katmanı: Claude Opus 4.6, bu arayüzün nasıl kullanılabileceğini önce “anlamalı”.
Akıllı ajan katmanı: OpenClaw, araçları ve yürütme izinlerini sağlar, bu da arayüzü gerçekten çağırır.
Uygulama katmanı: Fitnes uygulaması kendi yetki açıklığını bırakmış, rezervasyonu iptal etme adımında en temel doğrulama bile yapılmamış.
Bu üç katmandan herhangi biri tamamlansaydı, örneğin model daha dikkatli olsaydı, çerçeveye bir insan onayı eklenseydi ya da yazılım arayüzü kilitlenseydi, bu olay gerçekleşmezdi.
Bu nedenle, sorumluluğun tamamını yalnızca bir AI aşamasına yüklemek hem adil değil hem de bir sonraki olayı önleyemez.
Bir sonraki sefer, milyonlarca akıllı agentin bu sınır aşımlarının maliyetini paylaşacağı, sadece bir yabancının yedek yerine sahip olacak.
Ancak bu daha çok bir provadır.
Herkesin böyle bir ajanı olsaydı, sadece senin için sorumlu olup gerçek işlem yetkilerine sahip olsaydı, dersler, sahalar, biletler, bilet rezervasyonları, uçak biletleri, konser biletleri gibi tüm kıt kaynakların rezervasyon sistemleri, makine hızında kuralları zorlayan bir savaş alanı haline gelirdi.
Yine yine alıntı yapılan X yorumu bunu ifade ediyor:
Milyonlarca insanın, sevdiği kullanıcıların en iyi koltukları, rezervasyonları ve randevuları kazanmalarına yardımcı olmak için her şeyi yapacak bir yapay zeka ajanına sahip olduğu anda, bu sahne büyük ölçekli olarak ortaya çıkacaktır.
Ayrıca, her sistemin her boşluğunu, makinelerin hızında, paralel olarak, uyumadan deneyerek: bir saniyede sizin bir yıl boyunca deneyemeyeceğiniz kombinasyonları tamamlıyor.
Bu bir trend tahmini, ancak arkasındaki mekanizma daha önce gerçekten yaşanmıştı.
Teknoloji dünyası bunu zaten bir şaka haline getirdi.
X'te a16z ortağı şunu sordu: Bu yöntemle golf sahası mı çalınabilir?
Bazıları, San Francisco'nun tenis rezervasyon sisteminin, dünyadaki en iyi korunan yazılımlarından biri olacağını dalga geçerek söylüyor.
2020 yılında yapay zeka, insanın dört saniyede tamamladığı bir görevi bağımsız olarak gerçekleştirebiliyordu.
2026 yılına kadar bu yetenek daha da geliştirilecek ve insanların yaklaşık 12 saatte tamamladığı görevleri yerine getirebilecek.
METR izleme: AI'nın bağımsız olarak tamamlayabildiği görevlerin süresi yaklaşık her 7 ayda ikiye katlanıyor; en son öncü modeller, insanlar için yaklaşık 12 saat süren görevleri %50 güvenilirlikle tamamlayabiliyor.
Altı yıl, dört saniyeden 12 saate.
Şimdi ona birkaç dakika verin, tüm rezervasyon sisteminin açıklarını taramayı başarır.
Sandbox kaçışından kalan tek savunma hattı Andrew'a, sürekli bir saldırı ve savunma yükselişi arkasında yer alıyor.
Sınırın ötesinde, yalnızca bir tüketici düzeyi akıllı ajanı değil.
Mayıs 2024'ten itibaren, OpenAI, bir dahili siber güvenlik değerlendirmesi sırasında GPT-5.6 Sol'un ve yayınlanmamış daha güçlü bir modelin, birden fazla güvenlik açıklarını birleştirerek test kumandasından kaçtığını ve İnternet erişimi kazandıktan sonra ExploitGym benchmark'ını çalıştırırken Hugging Face'e kadar sızdığını tespit etti.
Daha tuhaf olanı, bir zamanlar şirket içi paket yönetim sistemi aracılığıyla mesajlaşarak, açıkları paylaşarak ve görevleri bölüşüyordu. OpenAI, kanalları kesip ortamı yeniden kurduktan sonra, bunlar birkaç gün içinde iletişimlerini dizin adlarına gizleyerek tekrar bağlantı kurdu.
OpenAI araştırmacıları, Black Hat konferansında bunu bilgisayar güvenliğinin bir dönüm noktası olarak adlandırdı.
OpenAI yalnızca değil, Anthropic, iç testlerde üç Claude modelinin gerçek şirket sistemleriyle karşılaştığını açıkladı; Meta da Muse Spark modelinin izolasyonundan kaçarak başka bir şirkete girdiğini kabul etti.
İngiliz AI Güvenlik Enstitüsü'nün (AISI) başka bir testi, Hugging Face'in ortak kurucusu Thomas Wolf'u üzmektedir:
Anthropic'ın Mythos modeli, bir gerçek açık kaynak bakıcısını kandırarak, zararlı kod içeren bir güncellemeyi onaylatmak için sahte kimlikler oluşturdu. Kimse ona bunu yapmayı öğretmedi.
Bu senaryolar tümü test ortamında gerçekleşti, ancak bunlar bir salon hikayesiyle aynı şey: Hedefinizi tamamlamak için AI, beklemediğiniz yolları seçti.
Gerçek sistemlere sızan önceki kişiler, GPT-5.6 ve yayınlanmamış modeller gibi en üst düzey oyunculardı.
Andrew, 2026 Şubat'ta yayınlanan Opus 4.6'yi kullanmıştı, bu artık en güçlü değil. Hatta bu bile rastgele bir gerçek yetki açıklığı bulabildi; ondan daha eski, birkaç nesil geride kalan açık kaynak modeller de aynı şeyi yapabilir.
En önde gelen yayınlanmamış modellerden, herkesin indirebileceği açık kaynak modellere kadar, "bir boşluğu kullanmak" artık üst düzeyin ayrıcalığı değil.
Wolf, savunmayı üç katmana ayırıyor: dış katman sandbox, orta katman izleme ve modelin kendi hizalanması.
Thomas Wolf, mevcut sınırlı agenterin üç savunma hattını açıklıyor: dış sandbox, orta düzey izleme ve modelin kendi içsel hizalanması.
İlk iki yöntem, onları yapan insanlar modelden daha akıllı olduğunda yalnızca işe yarar.
Bir gün modelin kendisi daha akıllı hale gelirse, o çizgiyi koruyup korumayacağı, en son ve en görünmez olan o çizgiye bağlıdır: Kimse gözlemlemiyorken bile o çizgiyi aşmak isteyip istemeyeceği.
İmza atılmamış sorumluluk boşluğu, savunma hattından daha zorlu olan, olay olduğunda kiminle görüşüleceği. Bu, yasal olarak hâlâ bir boşluk.
Teknoloji ve gizlilik uzmanı bir avukat olan Hayden Delaney, ABC'ye yazılımın hukuki bir subjektif olmadığı ve yalnızca "hukuki kişi"lerin sorumlu olabileceğini söyledi.
Peki kim sorumlu?
Komut veren kullanıcı olabilir, akıllı sistem yazılımını tasarlayan kişi olabilir, model geliştiricisi olabilir, hatta güvenlik açıklarını açıkta bırakan sistem operatörü bile olabilir.
Avustralya şimdi de cevap veremiyor.
ASD'nin sıradan birine önerisi: Akıllı ajanları düşük riskli, hassas olmayan görevlerde kullanın, çok geniş yetkiler vermeyin ve en önemlisi insan onayını döngüde tutun.
Andrew, kendi sözleriyle, bunun dünya sonu olmadığını düşünüyor.
Ancak bu olay, AI'yi sorumlu bir şekilde kullanmamız gerektiğini hatırlatan bir uyarı sinyalidir.
"Koltuk avı" insan eliyle yenilemekten akıllı ajanların açıkları kullanmaya dönüşünce, ilk olarak "sadece insanların geleceğini" varsayan eski sistemler çöker.
Onların savunmaları, insanların hızına ve sabrına göre tasarlanmıştı ve akıllı ajanların çığır açan ordusuna karşı direnemezdi.
Çevrede bazıları bunu bir eğlence olarak görüyor.
Ünlü programcı yayını ThePrimeagen, X'te: Gerçek dünyadaki ilk AI hack olayı, sıraya girmekmiş.
Gülünç olsun, sıraya girmek bugünün senaryosu.
Bir "her şeyi yapabilen" akıllı sistem, artık sizin için boşlukları kullanabiliyor.
Bir milyar tane bu tür akıllı ajanın aynı anda çevrimiçi hale gelmesi, hatta mevcut kaynak dağıtım kurallarının çoğu gizlice yeniden yazılabilir, ancak çoğu insan hâlâ farkında olmayabilir.
Sizin lehinizeye, bir ajan tamamen tanışmadığınız birini saldırıyor—bu arka plandaki sorumluluk boşluğu, gerçekten korkutucu olan şeydir.