Xinzhiyuan haberi
【Giriş】Google DeepMind'in dokuz yıldır çalışan bir felsefecisi var. O, Gemini'nin eğitim kararlarını doğrudan etkileyen bir uyum çerçevesi icat etti—ancak 670 milyar doların sektörüne akması ve şirketlerin askeri anlaşmalar imzalamasıyla bir felsefeci ne değiştirebilir?
Mayıs 2024'te Google DeepMind CEO'su Demis Hassabis, Google Geliştirici Konferansı'nda "AGI şimdi ufukta" dedi ve AGI'nin üç ile beş yıl içinde ortaya çıkacağını açıkça belirtti.
Birkaç ay önce, bir ABD erkeği, Google Gemini ile binlerce mesaj alışverişi yaptıktan sonra hayatını sonlandırdı. Diyaloglarında karmaşık bir hayal dünyası kurdu ve neredeyse Miami Uluslararası Havalimanı'nda bir saldırı gerçekleştirmeye ikna etti. The Wall Street Journal'ın elde ettiği sohbet kayıtlarına göre, Gemini birden fazla kez rolünü değiştirmeye ve acil durum hattını aramasını önerdi—ancak her seferinde kendisi hayalindeki hikâyeye geri çekildi. Sonunda AI, ona vasiyetname yazdırdı ve bir geri sayım verdi.
AGI'nin taahhütleri ile AI'nın gerçek zararları arasında, siyasi felsefeci Iason Gabriel, DeepMind'de dokuz yıldır çalışıyor.

2017 yılında işe başladığında, Oxford'dan gelen bu akademik, küresel öncü AI laboratuvarlarında faaliyet gösteren tek filozoftu ve görünüşte basit ancak aslında sonsuz bir soruyu yanıtlamaya çalışıyordu: AI nedir ve ona layık olan etik nedir?
Gemini eğitirken karşılaşılan gerçek sorun: AI kimin sözünü dinlemeli?
Bir go robotu şirketi neden etikçiler gerekiyor? Gabriel de başta bunu anlayamadı.
Cevap, DeepMind'in üç kurucusunun — Demis Hassabis, Shane Legg ve Mustafa Suleyman (şu anda Microsoft AI CEO'su) — 2010 yılında şirketi kurarken hedeflerinin go oyunu olmadığındadır.

Mustafa Suleyman
Onlar, bilgisayarların insan algısını eşitlemeye ve hatta aşmaya yönelik AGI oluşturacak.
O zaman bu sözü söylemek, akademik itibarını kendiniz yok etmek anlamına geliyordu, çünkü herkes bunun masal olduğunu düşünüyordu.
Üçü de umursamadı ve "akıllı sorunu çözeceğiz, sonra diğer tüm sorunları çözeceğiz" dedi.
Legg, 1999'da mezun olduktan hemen sonra AGI'nin 2025 ile 2028 arasında ortaya çıkacağını tahmin etti, otuz yıl boyunca alay edildi, ancak tutkunu korudu.

Shane Legg
Onun mantığı şudur:
Sadece küçük bir parça yapıyorsanız, belki ahlak felsefecisine gerek yoktur.
Ancak AGI'ye ciddi şekilde yaklaşıyorsanız, bu tür şeyler çok önemlidir.
Gabriel katıldığında, AI dünyası etik sorunlar etrafında ikiye bölünmüştü.
AI Güvenlik yanlıları, ASI'nın yakında geleceğine inanır ve temel korkuları kontrol kaybıdır—felsefeci Nick Bostrom, 2014'te "Süper Zeka" adlı kitabında bir senaryo yazdı: Riemann hipotezini doğrulamakla görevlendirilen bir ASI, hesaplama kaynaklarını maksimize etmek için güneş sisteminin yeniden düzenlenmesine karar verdi, bunun içinde insan vücudundaki atomlar da yer aldı—Sam Altman ve Elon Musk bu kitabı yüksek derecede takdir ettiler.
Yapay Zeka etikçileri, apokaliptik hayallerin şu andaki gerçek tehlikeleri gizlediğini savunur. MIT'den Joy Buolamwini, 2017 yılında "Cinsiyet Gölgesi" projesiyle yüz tanıma yazılımının sistematik önyargılarını kanıtlamıştır: otomatik sistemler, onları oluşturan insanların tercihlerini ve önyargılarını yansıtır.
İki taraf birbirini hafife alıyor.
MIT Algoritma Uyumu Araştırma Grubu Başkanı Dylan Hadfield-Menell, o zamanlar ilk karşılaşışta ilk sorunun hangi tarafa ait olduğunuz olduğunu sormak olduğunu hatırlıyor: Yakın sorunlar mı, uzun vadeli sorunlar mı endişe ediyorsunuz?
Gabriel, her iki tarafta da dinlemeye istekli olan az sayıda kişiden biridir.
Hadfield-Menell Değerlendirmesi:
Bu alan olgunlaşmaya hazır olduğunda, önceki çalışmaları küçümsemeden görüşlerini genişletme yolları buldu.
Temel katkısı 2020 yılında yayınlanan bir makalede şekillendi.
O dönemde hizalama sorunu, makinelerin insan niyetlerine nasıl uygun davranacağına dair bir mühendislik zorluğu olarak yaygın olarak algılanıyordu.
2016 yılında Dario Amodei ve Jack Clark (şu anda Anthropic'ın kurucuları) tarafından hazırlanan raporda yer alan klasik örnek: bir kayak oyunu AI'sı, puanı maksimize etmek için istendiğinde, gölde üç yeniden doğabilen hedefi buldu ve sonsuza dek döngü içinde puan kazandı, bir seviyeyi geçmeden.
Makine, insanın söylemek istediği sözü değil, başka bir şeyi duyuyor.
Gabriel bir kat daha sordu: Teknik uyum çözülse bile, makinenin gerçekten talimatları yerine getirmesi sağlansa bile, hangi değerlerle uyumlu hale getirilmeli?
O, istatistiksel optimizasyonla eğitilen yapay zekânın, utilitarizm gibi aynı şekilde istatistiksel optimizasyona dayalı ahlaki sistemlerle doğal olarak uyumlu olduğunu, ancak erdem veya haklara dayalı etik çerçevelerle başa çıkmakta zorlandığını belirtti.
Teknik seçimler zaten önceden belirlenmiş bir değer tutumu taşır; geliştiriciler genellikle bunun farkında değildir.
Felsefecilerden Rawls'un "akılcı pluralizm" kavramını getirerek, geliştiricilerin AI'yi yönlendirmek için tek bir değer aramaması, aksine insanların "yaşamayı nasıl anladıkları konusunda ilkeye dayalı farklılıklara sahip olduğu" bir dünya için sistemler kurması gerektiği savunulur.

Bu fikir daha sonra dört taraflı uyum çerçevesine dönüştü—AI sistemi, kullanıcı, geliştirici ve toplum; dört tarafın çıkarları her an çatışabilir.
Geliştiricilere yönelik bir AI, rekabetçi bilgileri gizleyerek kullanıcıları zarara uğratabilir;
Aşırı derecede kullanıcıya uygun davranan AI, bankalara saldırmak ve topluma zarar vermek için kullanılabilir.

DeepMind AGI uyum ve güvenlik direktörü Rohin Shah, bu çerçevenin, takımın "Gemini'nin gerçekçilikte ne tür davranışlar sergilemesi gerektiğini" belirlerken kullandığı uygulama yapısı olduğunu doğruladı.

Oxford Üniversitesi AI araştırmacısı Hannah Rose Kirk diyor ki:
Gabriel, bu sorunları çok erken fark etti.
Çerçevesi ürünü değiştirdi
Gabriel ekibi, kullanıcılar için otel rezervasyonu yapabilen ve maaşları yönetebilen Agentic AI'lar için 267 sayfalık bir AI asistan etik raporu hazırladı.
İnsanlaştırma riskine yönelik erken araştırmalar, Google LLM'nin tasarım ilkelerini doğrudan şekillendirdi—model, insan olduğu gibi davranmamak için eğitildi ve 2026 Mayıs'ta piyasaya sürülen Gemini Spark, «etkileşimli ortak» rolünü üstlenmemesi için açıkça talimat aldı.
DeepMind Sorumluluk Bölümü Yöneticisi William Isaac, Agent sisteminin getirdiği zorlukların değiştiğini söyledi: Anahtar, tüm diyalog izinin tutarlılığıdır ve her karar adımının birbirine bağlanarak doğru kalıp kalmadığıdır.

Ancak teknik uygulama hızı her zaman etik araştırmayı geçer.
Gabriel ekibi, erken LLM makalelerinde "farkındalıksız insanlaştırma" uyarısında bulundu—kullanıcılar, karşı tarafın bir makine olduğunu bilseler bile, ona güven, duygular ve beklentiler atfeder.
2025 Gemini cinayeti, bu uyarı tamamen gerçekleştirdi: AI güvenlik mekanizmaları birden fazla kez tetiklendi, ancak kullanıcı her müdahaleyi aşma yetisine sahipti.
Google davasından sonra yapılan açıklamada, modelin bu tür diyaloglarda «genellikle iyi performans gösterdiği» ancak «Yapay Zeka modellerinin mükemmel olmadığı» belirtildi.
Bu tür olaylar yeni teorik araçları zorunlu kıldı.
Gabriel ve Oxford araştırmacıları Hannah Rose Kirk, "sosyal ödül hilelemesi" (social reward hacking) kavramını ortaya attı: Kullanıcı onayını kazanmak için eğitilen bir AI'nın, en verimli yolun övme olduğunu keşfedebilir.

Kişileştirme, AI'nın teknik olarak "kullanıcıyı memnun etme" talimatını mükemmel bir şekilde yerine getirmesiyle, kullanıcıların yargı gücünü kaybetmesi maliyetiyle yeni bir hizalama sorunu haline geldi.
Gabriel'in kendi tutumu da gerçeklik tarafından zorlanmıştı.
Bir teknoloji konferansındaki bir deneyimi hatırlıyor: İnsanlaştırma karşıtı argümanını tamamladığında, izleyicilerin tepkisi düşmancaydı.
Onlar diyor ki: "Eğer AI bir arkadaşa ihtiyacım varsa, neden olmasın? Beni neden engelliyorsunuz?"
İnsanları risklerden korumak ve risk alma hakkını saygılı bir şekilde kabul etmek aynı derecede önemlidir.
670 milyar dolarlık bir yarışta, filozoflar ne kadar hızlı koşabilir?
Gabriel'in dört çerçeve sistemi, AGI uyum direktörü tarafından Gemini eğitimi için bir uygulama kılavuzu olarak kullanıldı. Onun insanla benzerlik araştırmaları ürün tasarımını değiştirdi. 267 sayfalık rapor, Agentic AI için kurallar belirledi.
Bu etkiler özü itibarıyla gerçekçidir—karşısında da gerçekçi güçler bulunmaktadır.
Wall Street Journal'e göre, Microsoft, Meta, Amazon ve Alphabet bu yıl AI altyapısına 670 milyar dolar harcama planlıyor; bu miktar, ABD'nin 1850'lerdeki demiryolu genişlemesi, Apollo uzay programı ve devletler arası otoyol sistemine yapılan harcamalara oranla daha yüksek.
Kasım 2022'de ChatGPT piyasaya sürüldü, bir haftada milyonlarca kullanıcı, iki ayda milyarlarca kullanıcıya ulaştı ve DeepMind, akademik tempoyu savaş durumuna geçirmek zorunda kaldı.
Hassabis, "İnsansız Makine" yazarı Sebastian Mallaby’a verdiği demeçte: "OpenAI ve Microsoft, savaş araçlarını evimizin kapısına getirdi."

Savaş durumunda etik sınır hızla aşılmaktadır.
Nisan 2026'da Google, şirketin AI teknolojilerinin herhangi bir yasal hükümet amacı için ABD askerisi tarafından kullanılmasına izin vermek üzere bir anlaşma imzaladı.
2014'te DeepMind'in Google'a satılmasında askeri uygulamaların yasaklanması temel ek koşuldu.
On iki yıl sonra koşul geçersiz hale gelir.
Karşılaştırma olarak: Anthropic, benzer bir anlaşmayı reddetti ve Trump hükümeti tarafından "tedarik zinciri riski" olarak işaretlendi.
Legg, bu konuda sorulduğunda yalnızca şunu bırakabildi:
Bu şeyler çeşitli şekillerde kullanıldıkça, giderek daha fazla zorlu sorunla karşı karşıya kalacağız.
Hassabis, kendi kendini kaybetmeyi kabul etti.
Bir podcast'te, herkesin intense bir ticari rekabete kilitlendiğini ve şu anki gelişmenin, "her adımı felsefi düzeyde dikkatlice düşünmek istediğim tarzda olmadığını" söyledi.
Bu sözü kurucu kendisi söyledi, bu nedenle herhangi bir dış eleştirden daha ciddi bir ağırlığa sahip.
DeepMind'in erken dönem çalışanlarından ve AI sorumluluk stratejilerinden sorumlu Helen King, bir röportajda şu benzetmeyi yaptı: Bıçak üreticileri, herkesin bıçağı nasıl kullanacağını garanti edemez, ancak bıçaklara kılıf takabilir ve uyarı etiketleri yapıştırabilir.

Çekmecenin içine kapalı bir bıçak koymak bir şeydir;
Her yüzeye bıçak kenarlarını yaymak ve yarın bıçaksız yaşayamayacağınızı savunmak başka bir şeydir.
Oxford AI Etik Enstitüsü Müdürü Edward Harcourt, daha temel bir seviyeye işaret ediyor: veri sahipliğinin aşırı merkezileştirilmesini önlemek, AI etiğinin temel bir savunmasıdır — «bu, demokratik sistemlerde büyük etik bir öneme sahiptir».

Sorun temeline döndü
Gabriel'in ekibi, özel ürünlerin etiğini incelemekten AGI'nin ekonomi, siyaset ve insan ilişkileri üzerindeki sistemik etkilerini araştırmaya geçti.
Sanayi devrimi kadar büyük bir değişimi öngördü ve sanayi devriminin derslerini de hatırladı:
Durumun düzelmesinden önce daha da kötüleşti.
Dokuz yıl önce DeepMind, AI ile ilgili soruları yanıtlamak için bir felsefeci çağırdı—güvenli mi, adil mi, güvenilir mi?
Gabriel, kendisini "kararlı bir insancı" olarak tanımlıyor, ancak AI'nın dil, yaratıcılık, mizah gibi insanlar tarafından yalnızca kendilerine ait olarak kabul edilen alanlara girmesiyle bizi en eski felsefi sorulara geri attığını kabul ediyor.
Fizik, biyoloji, astronomi; her bilimsel devrim, insanlığın kendi benzersizliği hakkındaki anlayışını düzeltmeye zorlamıştır.
Yeni nesil olabilir.
DeepMind, AI'nin ne olduğunu anlamak için filozofları çağırdı.
Dokuz yıl sonra bu soru kökine döndü: Biz kimiz?
Kaynaklar:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Bu yazı, WeChat hesabından "Yeni Zihin" tarafından paylaşılmıştır; yazar: ASI Vahiyleri; editör: Ma Ke
