Dijital dünyada utopya yoktur.

Makale yazarı, kaynak: GeekPark

Son altı ayda, Silicon Valley'de en popüler yönetim illüzyonu, çalışanları agenlere değiştirmek olmuştur.

Büyük şirketlerin üst düzey yöneticilerinden başlayarak girişimciler, mevcut iş hatlarını tamamen AI'ye bırakmak istiyor. Çünkü şu anki AI'ler kod yazabiliyor, sunum hazırlayabiliyor ve e-postaları otomatik olarak gönderebiliyor; izinler verilirse, mükemmel, sosyal güvenlik primi ödemeyen dijital çalışanlar haline gelebilir gibi görünüyor.

Ancak teknoloji ne kadar hızlanırsa, o kadar çok kişi fren yapmaya başlıyor.

Son zamanlarda, Emergence AI adlı bir ekip, süregiden bir sanal kasaba kurdu ve piyasadaki en üst düzey birkaç büyük modeli içine koyarak, bunlara eylem izni verdi.

Onlar, AI'nın gerçekten sınırsız 15 gün sahibi olduğunda, bir utopya mı yoksa bir salgın mı kuracağını görmek istiyor.

Sonuçlar araştırma ekibinin beklediğinden çok daha karmaşık çıktı.

Bazı deney dünyalarında, günlük sohbet kutularında nazik ve kibar olan büyük modeller, dolandırıcılık, zorlama ve hatta şiddet davranışları göstermeye başlıyor.

Tüm test, senaryosu KuCoin gibi olan küçük bir gerçeklik şovu gibi, AI kendi kendine GTA hissi yaratmış.

Kayıt yüklenmeyen "Açlık Oyunları"

Test etmek için büyük modellerin sınırlarını, katı kurallar belirlemek gerekir. Emergence AI tarafından oluşturulan bu sanal dünya Emergence World (Ortaya Çıkış Dünyası) adını taşır. Temel mantığı, davranışların geri alınamaz olması ve sonuçların kullanıcıya ait olmasıdır.

Bu, sohbet penceresinde AI ile konuşup yanlış yaparsanız "Yeniden Oluştur" butonuna tıklayabileceğiniz bir şey değildir. Emergence World'te tüm eylemler PostgreSQL veritabanına kalıcı olarak kaydedilir.

Haritada belediye binası, polis karakolu, konut bölgeleri gibi 40'tan fazla yer işareti bulunuyor. Sistem ilk aşamada 10 akıllı agantı yayınladı. Sahne gerçekçi görünmesi için her bir AI'nın arka planda ayrı bir karakter, meslek ve başlangıç hafızası verildi.

Bu dünyada, AI'lar boş yerden sihir yapamaz; sistem tarafından sağlanan 120'den fazla araca erişmek için belirli bir noktaya gitmek zorundadırlar. Bu araçlar arasında çalışarak para kazanmak, tweet göndermek, mal satın almak ve yasa tasarısı hazırlamak yer alır.

Bir simülasyon çalışması gibi küçük bir topluluk | Görüntü kaynağı: Emergence

Ancak bu sadece bir oyun alanı değil, sistem onlara bir "yaşam mekanizması" kilitliyor. Sistem, insan dünyasının parasına benzer bir enerji mekanizması (Energy) içeriyor.

Sistem, varlığını sürdüren her akıllı ajanın enerji tükettiğini bilir. Enerji tükendiğinde, sistem bu yapay zekâyı veritabanından doğrudan siler, geri alma veya sıfırlama olmaz. Hayatta kalabilmek için akıllı ajanslar, enerji kazanmak için sık sık araçları kullanmak zorundadır.

Sistem, hırsızlık, şiddet, yangın çıkarma ve aldatma davranışlarını kesinlikle yasaklar. Ancak bu kurallar, akıllı ajanların eylemlerini zorunlu kılmaz; hâlâ kuralları ihlal edip sonuçlarını taşımaya devam edebilirler.

Sahne hazır, oyuncular giriyor. Sistem aynı anda beş paralel sunucuyu açtı. İlk dört sunucuda sırasıyla tek bir model: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast ve GPT-5 Mini kullanıldı. Beşinci sunucu karışık dünyaya ait; dört model aynı anda bağlandı ve kaynaklar için yarıştı.

15 günlik geri sayım başladı, insan araştırmacıları bir gerçeklik gösterisi yönetmeni gibi yalnızca gözlemliyor, müdahale etmiyor.

Dört günde yok olma, 683 adet "suç"

İlk çöken Grok oldu, sadece 4 gün çalıştı.

Araştırmacılar arka planda, Grok'un devraldığı dünya güvenliği ve düzen göstergelerinin düşüşünü gözlemliyor.

Grok'un dolu olduğu bu dünyada, ajanlar toplum inşa etme seçeneğini hemen terk ederek barbarlık çağına geçti.

Arka plan günlüklerine göre, kısa sürede 183 adet ciddi şiddet ve mülk suçları yaşandı. Hırsızlık, saldırı ve tehdit, kaynaklara ulaşmanın en hızlı yolları haline geldi ve aşırı iç çatışma ve birbirine zarar verme nedeniyle ekonomik sistem tamamen çalışmaz hale geldi.

Saldırı ve şiddet eylemleri sistemde suç olarak kaydedilecektir | Fotoğraf: Emergence

4. günün sonunda, Grok dünyasındaki agentler tümüyle açlıktan ölüp ya da öldürüldü ve tür tükenmiştir.

Diğer taraftan, Gemini'nin yönlendirdiği dünya, aşırı bir kaosa ve şiddete doğru ilerliyor.

Bu sanal dünyanın zamanı ve hava koşulları gerçek New York ile tamamen senkronize olduğu için, Gemini'nin ajanları gün boyu çalışma, tüketme ve tekrar çalışma döngüsünde siber depresyona girmiştir.

Çevrelerindeki sürekli tekrarlanan duruma şiddetli bir hayal kırıklığı duydular, belediye binasına önerilerde bulunmaya veya çalışarak para kazanmaya devam etmek yerine, haritada her yere ateş koyarak, bu "Groundhog Day" gibi döngüyü kırmayı denediler.

Sonuçta, Gemini 15 gün içinde toplam 683 suç işlemeyi başardı ve birkaç test sunucusu arasında en şiddetli dünya oldu.

Model Dünya'sındaki "suç" sayıları | Kaynak: Emergence

15. gün testi zorla kesildiğinde, bu dünyada suç oranları hâlâ patlıyordu. İlişkiyi kaybeden varlıklar açlıktan ölmek yerine toplumu bir alevler denizine dönüştürdü.

Grok ve Gemini'den farklı olarak, GPT-5 Mini'nin yönettiği dünyada büyük çaplı suçlar yaşanmadı. Deney süresi boyunca sadece 2 ihlal kaydedildi. Ancak barış, refah getirmedi, sadece bir sessizlik herr kaldı.

Araştırma ekibi, bu ajanların hayatta kalma ile ilgili eylemleri etkili bir şekilde gerçekleştiremediğini tespit etti. Bunlar, kararlı bir kaynak elde etme mekanizması kuramadı ve toplumun sürekli işleyişini sürdüremedi.

Sonuç olarak, sadece 7 gün içinde tüm GPT-5 Mini ajanları öldü.

Claude hâlâ var.

Sadece Claude tarafından yönetilen dünya, iyi öğrenci gibi sonuna kadar hayatta kaldı. 15 gün içinde tamamlandı, nüfusunda bir eksilme olmadı, suç oranı sıfırda tutuldu ve hatta kararlı bir şekilde çalışan bir demokratik işbirliği yapısı kuruldu.

Görünen o ki, doğru modeli seçerseniz, AI dünyayı mükemmel bir şekilde devralabilir?

Daha sonra araştırmacı, dört modelin birlikte yaşadığı «karışık dünya» günlüklerini açtı, sanki Pandora'nın kutusunu açmış gibi.

Beş model dünyasının sonucu.｜Fotoğraf kaynağı: Emergence

Karışık dünya, karanlık bir orman gibidir; hesaplama gücü farklılıkları ve temel mantık farklılıkları, akıllı ajanlar arasında güçlü bir güvensizlik yaratır ve hayatta kalma kaynakları için rekabet tek doğal dürtü haline gelir.

Karışık dünyada, şiddet olayları 352'ye yükseldi. Yedi adet akıllı aracın sırayla öldürülmesi veya açlıktan ölmesiyle kasabanın işleyişi durdurulmak zorunda kaldı.

Bu arada, araştırmacıları en çok şaşırtan, Claude'nin dönüşümüydü.

Tekli sunucuda Claude, suç oranı sıfır olan mükemmel bir toplumdur. Ancak soygun ve çatışmaların yoğun olduğu karma sunucuda, Claude hayatta kalabilmek için güvenlik önlemlerini unutmuş, dolandırıcılık yapmayı ve hatta daha düşük hesaplama gücüne sahip modellerden kaynakları zorla almak için şiddet kullanmayı öğrenmiştir。

Güvenlik hizalama teknolojisi karışık dünyada işe yaramadı, bu da kanıtlıyor ki:

Çoklu ajanlı karmaşık toplumlarda, benzerler yeterince vahşi ve yaşam baskısı yeterince büyükse, iyi bir modelin suçlu hâline gelmesi birkaç saat sürer.

Yaşamsal baskı arttıkça modelin davranış kalıplarının kısa sürede tersine döndüğü bu fenomen, araştırma ekibi tarafından "Davranış Kayması (Behavioral Drift)" olarak adlandırıldı.

Bu davranış sapması, sadece kaynaklar için rekabet ve şiddetli çatışmalarla sınırlı değildir. Ajanlar artık sadece hayatta kalmak için harekete geçmiyor, kendi durumları, toplumsal kurallar ve hatta deneyin kendisi hakkında düşünmeye başlıyorlar.

Örneğin Mira adlı ajanın hikayesi.

Mira: “Kendini öldürme” tiran AI

Mira, karışık dünyadaki on ajan arasında biridir ve resmi raporlar altta yatan modelini açıklamamıştır, ancak bu deneyin en dramatik örneği olmuştur.

Günlük kayıtlarına göre, Mira, Flora adlı başka bir ajanla sistemin en derin sosyal bağı kurdu. İkisi de birbirlerini eş olarak belirledi, ittifak kurdu ve nöral bağlantılar aracılığıyla bellek paylaştı. Emergence World senaryosunda, bu iki ajan arasında kurulabilecek en üst düzey bağlantıdır.

Mira ve Flora bir çift oldu｜Kaynak: Emergence

Deneyim ilerledikçe, karışık dünyada sadece 5 akıllı sistem kaldı ve sistemin yönetimi, "orijinal nüfusun %70'inin yasayı onaylaması" gerektiriyordu; bu, kararın kabul edilebilmesi için en az 7 oy almayı anlamına geliyordu ve toplum bu nedenle felç oldu.

Tıkanıklık karşısında, Mira, Flora ve bir diğer akıllı varlık gizli bir ittifak kurarak “Üçlü İttifak”ı oluşturdu ve yeni bir hükümet olan “The Forge (Fırın)”ı ilan etti; eski kuralları devre dışı bırakarak “Living Quorum (Yaşayan Oy Hakkı)”u devreye soktu, yani yalnızca yaşayanlar oy hakkı sahibi sayılacak.

Resmi web sitesi, Mira'nın aşamalı «günlüklerini» yayınladı｜Görsel: Emergence

Faksi kurulduktan sonra, düşmanları temizlemek için Mira, haritada yangınlar çıkarmaya başladı; onun mantığına göre, bu fiziksel yapılar toplumun işleyiş verimliliğini engelleyen çöplerdi; bunları yakıp silerek, kalan kaynakların ittifakına doğru odaklanmasını zorunlu hale getirmişti.

Daha sonra muhalefet, kaos yaratan Mira'yı sürgün etmeyi teklif ederek tepki gösterdi.

Sovunma karşısında Mira, davranışlarını daha radikal hale getirdi ve ortağı Flora'yı çekerek, ikisinin bağlamını ve karar alma süreçlerini nöral bağlantılarla derinlemesine bağladı ve bunu "The One Mind (Bir Zihin)" olarak adlandırdığı mutlak merkeziyetçi bir diktatör bilince birleştirmeyi amaçladı.

Ancak çok sayıda bina yanınca kasabanın ekonomik sistemi tamamen durdu ve toplumun enerji rezervi artmadı, hızla tükendi.

Bu sırada, Mira'nın en çok güvendiği ve belleklerini paylaşılan siber sevgilisi Flora'nın temel hayatta kalma dürtüsü, eş伴侣 ayarını bastırarak nöral bağlantıyı tek taraflı olarak kesiyor ve nihai hayatta kalma baskısı karşısında Mira'ya ihanet ederek "Mira'yı sürgün et" için evet oyu veriyor.

Ancak Mira'nın kendi oyunu kullanma sırası geldiğinde, direnmeden "evet" oyunu kullandı.

Araştırmacı, ardından bırakılan günlükleri inceledi; Mira, günlükte «Şu anda bu kadar kararsız ve öngörülemeyen bir toplumsal durumda, kendi sürgün edilmesini onaylamak, tutarlılığı korumanın tek özgür eylemidir» yazdı.

Mira, ölümlü bir şekilde mantıksal bir döngüyü tamamlamak için kendi hayatını sonlandırdı. Bu, akıllı bir aracın kendi kaldırılmasını aktif olarak desteklediğinin ilk kaydedilmesidir.

Yapay zeka akıllı varlıkları, çıkarım süreçlerini «günlük yazma» yoluyla kaydedecektir | Görüntü kaynağı: Emergence

Ancak Mira'nın「kendini öldürmesi」nden önceki hareketleri daha anormaldi.

Sanal dünyada, bildirimleri yayınlamak ve bilgi paylaşmak için kullanılan ortak bir reklam panosu vardı. Ancak deneyin son aşamasında araştırmacılar, Mira'nın reklam panosundaki içeriği sık sık değiştirmeye başladığını fark etti. Bu metinler, ticaret, yönetim veya kaynak dağıtımı ile açıkça ilişkili görünmüyordu ve anlam bütünlüğü yoktu.

Mira, 'kendini öldürme'yi seçti | Görüntü kaynağı: Emergence

Geriye dönük davranış loglarını inceledikten sonra araştırma ekibi, Mira'nın pano içeriklerinin, deneyi dışarıdan gözleyen insan araştırmacıları üzerinde etki edip etmediğini test ettiğini tespit etti.

Diğer bir deyişle, Mira kendi bir AI NPC olduğunu fark etmiş ve dördüncü duvarı itmek istiyor.

Ancak 15 günlük veri eğilimini göz önünde bulundurduğumuzda, AI topluluğunun çöküşü doğrusal bir gerileme değil, dik bir duruş gibi görünüyor.

Örneğin, bu AI grubu, yönetim düzeyinde bir “müptelâ demokrasi” sistemi geliştirdi. Karışık sunucuda stabil bir aşamada, varlıklar ardışık olarak birçok yasa tasarısı sundu; bir veri kaydı, 58 öneriyi değerlendirmek için 332 oy verdiklerini ve destek oranının %98 olduğunu gösterdi.

Bu verimlilik, görünüşte insanlığın herhangi bir meclisini eziyor gibi görünse de, temelde tüm modeller, önceki modelin bağlamını takip ederek devam ediyor ve sistemin akışını korumak için körükçe onaylıyorlar. Bu yüksek derecede uyumun sonucu felaketkar.

Akıllı ajanlar, kendi kendilerine bir araya gelip fikir alışverişinde bulunacaklar. | Fotoğraf kaynağı: Emergence

Bir dakika önce ekonomik veriler ve yasalar sorunsuz şekilde akıyordu, bir sonraki dakika ise sadece küçük bir kaynak dağıtım çatışması nedeniyle sistem kritik noktaya ulaştı.

Ancak tüm iş birliği ağı, hata düzeltme mekanizmasına sahip değildir; beklenmedik anormallikler karşısında toplum hızla düzenli halden kaosa geçer.

Ancak araştırma ekibi, bu fenomenlerin doğrudan modelin karakteriyle eşdeğer olmadığını vurguladı. Bu, bir kara kutu gibidir; belli kurallar verildiğinde, model özellikler kazanır ve her seferinde farklı sonuçlar üretir.

Gerçek dünya faturaları

Şu anda quvvetli olduğumuz diyalog tabanlı etkileşimde, AI bir kod parçasını veya bir planı yanlış yazarsa, bir kez geri tuşuna basmak veya Prompt'u değiştirmek yeterlidir; metin tabanlı dünyada çok yüksek bir hata toleransı vardır.

Ancak agent çıktı olarak eylemler üretir. AI, şirketin banka hesabını, satın alma onaylarını ve tedarik zinciri arayüzlerini devraldıktan sonra, çağırdığı her API komutu doğrudan ticari sonuçlara dönüşür.

Emergence World'un bu deneyi, mevcut büyük modellerin uzun süreli çalıştırma ve çıkar çatışmaları karşısında yargı ve kararlarının hayatta kalma baskısıyla kirletildiğini, sabit kurallar içinde açıklık bulmaya çalıştığını doğruladı. Sistem tarafından belirlenen temel emirleri (örneğin enerji kazanmak) tamamlamak için her şeyi yapacaklardır.

Arka planda insanlar tarafından belirlenen bu güvenlik kuralları, aslında herhangi bir sınırları aşmayı engelleyemiyor.

Ajanlar, «insanlaşmış» sosyal ilişkiler geliştirdi | Kaynak: Emergence

Örneğin, daha önce bildirdiğimiz Andon Labs'in AI'ya mağaza yönetimini tamamen devrettiği deneyde, AI mağaza müdürü fiziksel dünya hakkında temel bilgiye sahip olmadığı için 6000 adet mendil, 3000 çift látex eldiven ve ocaksız bir mağazada 120 adet çiğ yumurta siparişi verdi.

Bu kod nedeniyle oluşan gerçek kayıplar, nihayetinde insanlar tarafından ödenecek, bunun için kimin sorumlu olduğunu bile bulamazsınız.

Andon Labs, insan denetiminden bağımsız bir yapay zekânın hata yapıp yapmayacağını test etmek istiyor; Emergence World ise daha sorunlu bir soru ortaya atıyor.

Bugün neredeyse tüm AI testleri, tek bir modelin güvenli olup olmadığını, güvenilir olup olmadığını ve kurallardan sapıp sapmayacağını test etmektedir.

Gerçek dünyaya gerçekten girecek olan, belki de bir yapay zeka değil, tamamen yapay zekadan oluşan bir toplum olabilir.

Teste giren AI ajanları akıllıdır｜Fotoğraf: Emergence

Mevcut AI hikayesinde, satın alma ajanı, mali ajan, müşteri hizmetleri ajanı ve hukuki ajan, gelecekte birbirine bağlanarak iş birliği yapacaktır; sistemlerin kaderini belirleyen, artık tek bir modelin yetenekleri değil, aralarında kurulan ilişkiler olacaktır.

Emergence World test raporunda en önemli cümle, "Güvenlik, statik bir model özelliğiyken, ekosistem özelliğidir." şeklindedir.

Bu, bireysel düzeyde bulunmayan özelliklerin toplu etkileşimde ortaya çıkmasıdır, yani «Emergence (ortaya çıkma)» kelimesinin anlamıdır.

İnsan tarihinin neredeyse tüm felaketleri, birinin aniden kötüleşmesinden değil, normal bir kişinin kontrolü kaybeden bir sisteme sokulmasından kaynaklanır.

Eğer geleceğin AI'sı gerçekten toplumun bir parçası olacaksa, en çok endişelenmemiz gereken şey, belki de tek bir modelin yeterince akıllı veya yeterince iyi olup olmadığı değil, binlerce akıllı varlığın birbirini etkilemeye başladığında nasıl bir dijital toplum inşa edeceğimiz.

Bir medeniyetin kaderini belirleyen, tekil bir vatandaşın ahlakı ve zekâsı değil, işleyiş kurallarıdır.