AI'nin Ustalaşma Yolu: Puanlama Sistemleri Olduğu Yerde AI Takip Eder

Yazar: Robonaissance

Derin Akış Teknoloji Akışı

Derin Akış Öne Çıkarıyor: Satranç, Go, protein katlanma—görünüşte insan intuisyonu ve yaratıcılığı gerektiren bu alanlar, neden sırayla AI tarafından aşılıyor? Bu makale, gözden kaçırılan bir kuralı ortaya koyuyor: AI'nın insanları aşabilmesini belirleyen, görevin zorluğu değil, başarıya puan verilebilir olup olmadığıdır. Bir alan, bir değerlendirme standartı oluşturduğunda, kendi yenilgisine yönelik bir sayaç başlatmış olur.

Whatever You Ask For serisinden, makinenin bizim yerimize yapamadığı tek iş.

10 Mart 2016'da Seoul'daki bir otelde, bir makine odadaki herkesin anlayamadığı bir hamle yaptı ve rakibi o anda mevcut değildi.

이세돌 sigara içmek için dışarı çıktı. O zamanlar 33 yaşında, 18 dünya şampiyonluğu titülüne sahipti ve o neslin en iyi go oyuncusu olarak kabul ediliyordu. Önceki günün ilk oyununu kaybetmişti ve ikinci oyun başlarken önceki güveni azalmış, daha dikkatli bir tutum sergiliyordu. Dışarıdayken, AlphaGo 37. hamleyi seçti ve DeepMind araştırmacısı Huang Shih-jie, makinenin yerine sessizce taşları tahtaya koydu.

Taş beşinci çizgiye düştü.

Go oynamayı bilenler için bu anlamsızdır. Bilenler için ise neredeyse çılgınlıktır. Oyunun başlangıcında ve orta oyun aşamasında, kenardan bu kadar uzak bir konum verimsiz olarak kabul edilir; hem gerçek arazi kazanılamaz, hem de toprak korunamaz, bu da rakibe puan hediye etmek demektir. Bu, öğretmenlerin başlangıç seviyesindeki öğrencileri düzelttiği bir hamledir. Yorum masasında, üst düzey profesyonel Go oyuncusu Michael Redmond, canlı yayın sırasında ilk olarak tahta sinyalinde bir hata olduğunu düşündü. Bir taş aldı ve tekrar bıraktı.

Li Seok, oturduktan sonra tahtaya uzun süre baktı ve hareketsiz kaldı. Süreler yaklaşık 12 ila 15 dakika arasında değişti. Beş ay önce AlphaGo tarafından yenilen Avrupa şampiyonu Fan Hui, o sırada binada maç izliyordu. Uzun bir süre izledikten sonra şöyle dedi: "Bu bir insanın hamlesi değil. Hiç kimseyi böyle oynadığını görmedim."

Doğru söylüyor ve bu doğruluk nicelenebilir. DeepMind sistemi, insan oyunlarının büyük bir veri setini öğrenerek, herhangi bir pozisyonda insanın belirli bir hamleyi oynama olasılığını tahmin eden bir mekanizmaya sahiptir. 37. hamle için bu tahmin yaklaşık bir onbinde birdir.

Makine hâlâ oynuyor, ama bu hamle oyunu kazandırdı.

Bu hikâye için rahatlatıcı bir yorum, makinenin insan ustalarını çok çaba göstererek öğrenip nihayet en iyilerini geçtiğini söyler. Bu yorum yanlıştır ve bu yüzde birlik rakam, neden yanlış olduğunu tam olarak gösterir. İnsan hamlelerini taklit eden bir sistem, bir sınıra sahiptir; bu sınır insan hamleleridir. Seul'de yaşanan şey, sistemin verilen hedefin insan ustalarının onayını almak değil, oyunu kazanmak olması nedeniyle bu sınırla kısıtlanmamasıdır.

Bu fark, hayranlık duymaktan daha faydalı bir yöne işaret eder. Hangi insan faaliyetlerinin saf yetenek boyutunda zaten kaybedildiğini ve hangilerinin bir sonraki olacağını öğrenmek istiyorsanız, soru şu faaliyetin ne kadar zor, ne kadar yaratıcılık gerektirdiğini veya ne kadar sezgiye ihtiyaç duyduğunu sormak değildir. Soru, bundan çok daha sıkıcıdır.

Sorun şu ki, başarı puanlanabilir mi?

Şahmat 19 yıl önce farklı bir şekilde kaybedildi.

1997'de Deep Blue, Kasparov'u yendi ve temel olarak büyük bir insan ifade eylemi olan bir mimari kullandı. Değerlendirme fonksiyonu — bir pozisyonu görüp ne kadar iyi olduğunu gösteren sayısal bileşen — büyük ustaların danışmanlığıyla bir araya getirildi ve ayarlandı. İnsan şahmat bilgisi, insan şahmatçılarından zorla çıkarıldı ve makineye yazıldı. Makinenin katkısı, arama yeteneğiydi: daha hızlı, daha çok hamle öne bakmak, yorulmadan ve dikkat dağınıklığından dolayı hamle kaybetmeden.

Bu gerçekten bir zaferdir ve bir zafer olarak sayılmalıdır. Ancak şeklini dikkate alın. Deep Blue, şahmatı insanın anladığı şekilde anlıyor. Avantajı hızıdır. Bir pozisyonu neden böyle değerlendirdiğini sorarsanız, cevap sonunda bunu yapmasını söyleyen birine dayanır.

20 yıl sonra, DeepMind, şekli değişmiş bir AlphaZero sistemi yayınladı.

AlphaZero, satranç kuralları verildi. Başlangıç kütüphanesi verilmedi—her ciddi programın başvurduğu incelenmiş ilk hamleler listesi. Bitiş tabloları verilmedi. İnsan oyunları verilmedi. Kendi kendisiyle oynadı, rastgele hamlelerle başlayarak ve neyin kazandıracağını öğrenerek kendini ayarladı.

Yaklaşık dört saat sonra, DeepMind, kendi ELO puanının o zamanın en güçlü geleneksel programı Stockfish 8'i aştığını tahmin etti. Yaklaşık dokuz saat sonra, sınırlı zaman koşullarında Stockfish ile yüz oyun oynadı ve 28 oyunu kazandı, hiç kaybetmedi, kalan 72 oyun berabere bitti. Makale, 24 saat içinde satranç, shōgi ve go'da insansı düzeyin üstüne çıktığını rapor etti.

Bu sayılar genellikle diğer yarım anlatı olmadan alıntılanır, ancak diğer yarım çok önemlidir. Kendi kendine oynanan satranç oyunları, binlerce birinci nesil tensör işlem birimi üzerinde oluşturuldu ve ağ eğitimi için ek olarak altmış dört ikinci nesil birim kullanıldı; hepsi paralel olarak çalıştı. Dört saatlik masa saati süresi, dört saatlik hesaplama gücüne denk gelir—bu miktarı hiçbir birey veya hatta az sayıda kurum bile bir araya getiremez. Başarı, satranç oynamanın kolay olması değildir. Başarı, o kadar fazla hesaplama gücüne sahip olduğunuzda, insan bilgisi artık ihtiyacınız olan şey olmamasıdır.

Kasparov, yaşayan herkesden daha fazla nedenle bu sonucu kendisine yönelik olarak görmeye hak kazanmıştı, ancak Science dergisinde çok büyük bir tutumla bir değerlendirme yazdı. Gözlemi, AlphaZero'nun herkesin mükemmel bir makinenin oynayacağını düşündüğü sıkıcı, dikkatli, beraberlik eğilimli satranç oynamadığıydı. O, kendi görüşüne göre riskli görünen pozisyonlar için piyonları feda ederek aktiviteyi güç üzerinde tercih ediyordu. Geleneksel programların, onları yazan insanların öncelikleri ve önyargılarıyla yazıldığını belirtti. AlphaZero, kendi kendini yazmıştı. Bu nedenle tarzının, programcıların zevklerinden daha gerçek bir şeyi yansıttığını sonucuna vardı ve dünyanın en iyi geleneksel motorlarından çok daha az pozisyonu saniyede inceleyerek kazandığını gözlemledi.

Bu son detay hatırlanmalı. Geleneksel bir motor, çok daha fazla olasılığı saniyede tarasa da kaybetti. AlphaZero’nun avantajı daha çok çalışmaktan değil, nereye bakacağını bilmekten geliyor; bu bilgi, milyonlarca kendi kendine oyun ve kimin kazandığını belirleyen bir kuraldan oluşuyor, başka hiçbir şeyden değil.

Shogi sonuçları, okuyabilecek yetkiye sahip olanlar için daha tuhaf. Shogi, yenen taşların yenen tarafın eline geri döndüğü Japon bir satranç türüdür ve bu da durumun dalgalanmasını satrançtan daha fazla artırır; aynı zamanda kralı güvenli tutmanın yöntemleriyle yüzlerce yıllık bir teorik birikime de sahiptir. Güçlü shogi oyuncuları, makinenin oyunlarını inceledikten sonra, bilinen teorilere aykırı açılışlar ve her kitapta kralın köşeye çekilmeli olduğu söylenen anlarda kralın tahtanın ortasına koştuğunu rapor etti. Bu oyunlar, eğitilmiş gözler için neredeyse okunamazdı, ancak kazandılar.

İki sistem yan yana konulduğunda, düzeni rahatsız edici kadar net. Derin mavi, insan bilgisi ve makine hızıdır. AlphaZero, makine hızı ve zaferin tanımıdır; insan bilgisi kasıtlı olarak kaldırılmıştır. İnsan bilgisinin kaldırılmış versiyonu daha iyidir.

Bunun anlamı, 2016 yılındaki makinenin mükemmel olduğu değildir; aynı Seoul maçı kanıtları içermektedir.

Dördüncü oyun, üç set geride, onur için savaşan Lee Se-dol, satranç tahtasının ortasında AlphaGo'nun iki parçası arasında bir taş yerleştirdi. Bu hamle daha sonra Tanrı'nın Hamlesi olarak bilinmeye başladı. AlphaGo'nun kendi tahminine göre insanın bu hamleyi yapma olasılığı yaklaşık olarak on binde birdi, sihirli bir şekilde simetrikti. Sistem bu hamleye cevap veremedi. Sonraki birkaç hamlede kendi kazanma olasılığı değerlendirmesi çöktü, oyun gücü bozuldu ve maçı kaybetti.

Bu nedenle 2016 yılında makinenin hâlâ bir açıklığı vardı ve bir insan, dünyanın dikkatini çekerek ve en büyük baskı altında bunu buldu. Bu açıkça belirtilmeli, sessizce geçiştirilmemelidir. Aynı şekilde, ardından gerçekleşenler de önemlidir: bu tür açıklar yavaş yavaş kapatıldı ve bu sistemin devamı, artık bu tür oyunlarda kaybetmedi; en üst düzey motorlar ciddi ortamlarda uzun süredir insana bir oyun kaybetmedi. 2016 sonucu, kalıcı bir güç dengesi değil, bir dönüşümün bir anlık görüntüsüydü.

Bu tahtalardan diğer tüm şeylere aktarılan, zafer değil, mekanizmadır. Satranç ve Go, utanç verici derecede basit bir nedenle ilk olarak düşecektir: Oyunda başarı, kurallar tarafından tam olarak tanımlanmıştır. Kazanır ya da kazanmazsınız; puanlama ücretsiz, anlık ve tartışmaya açık değildir. Bir sistem, bir hafta sonu boyunca kendisiyle dört milyon oyun oynayabilir ve dört milyon kesin karar alabilir.

Bunu, basit görevler değil, kendi puan tablosuna sahip görevlerin bir sonraki bakış noktası olarak gösteriyor.

Proteinler, üretilirken karmaşık üç boyutlu şekillere katlanan amino asit zincirleridir. Şekil, proteinin ne yaptığını belirler. Dizilim, şekli belirler. 1970’lerin erken dönemlerinden beri, biyolojide dizilimden şekli türetmek açık bir sorun olarak kalmıştır ve bu sorun, ilk prensiplerden fiziksel simülasyonlar, evrimsel yakınlık analizleri ile on yıllarca birikmiş yapısal sezgiler kadar her türlü yaklaşımın başarısız kalmasıyla açık kalmıştır.

1994 yılında John Moult, herkesin ilerleme iddia ettiğinde ancak kimse doğrulayamadığı bu gerçek üzerinde çalıştı.

Bir sınav düzenlediler. O günden beri iki yılda bir, Yapı Tahmini Kritik Değerlendirmesi (CASP), yeni deneysel olarak belirlenmiş veya hâlâ belirlenmekte olan protein yapılarını dizilerini dünya çapında yayınlamak suretiyle sunar. Herhangi bir ekip tahminlerini gönderebilir. Bazı hedeflerin cevapları henüz mevcut olmadığı için kimse cevaplara erişemez. Deneysel yapılar ortaya çıktığında, tahminler karşılaştırılarak puanlanır.

Puanlama, 0 ile 100 arasında bir ölçek kullanan Global Distance Test (GDT) adlı bir metrik ile yapılır ve bu, zincirin nihai konumunun gerçek konuma yeterince yakın olduğunu yaklaşık olarak yüzde olarak ifade eder. Moult, yaklaşık 90 puanın laboratuvar tarafından belirlenmiş yapıya eşdeğer olarak kabul edildiğini belirtti. Değerlendirme tarihinin büyük bir kısmında, en iyi tahminler yaklaşık 60 puan civarında seyretti.

2020 CASP14'te, 427 numaralı takım tüm hedeflerde medyan skor olarak 92,4 elde etti. En zor kategori olan, faydalı yapısal akrabalık kaynağı olmayan hedeflerde medyan skor 87,0 oldu. Ortalama hata yaklaşık 1,6 Å'dı, bu da yaklaşık bir atomun genişliğine eşittir.

Moult, yarışmanın başından beri başkanlık yapmış ve grafikleri göstermeden önce yarışmanın tarihini izleyicilere hatırlatmıştır. Grafik, hikâyeyi tek bir resimde açıklamaktadır. Yirmi yıl boyunca çizgi 60 civarında ilerlerken, başka çizgilerin hiç ulaşmadığı bir yerde bir çizgi durmuştur.

427 takımı AlphaFold2. Moult, tek bir protein zinciri için sorunun çözüldüğünü duyurdu.

Sınırlayıcı terimler her dürüst anlatıda orada olmalıdır. Tek bir zincir, protein biliminin tamamı değildir. Proteinlerin nasıl kompleksler oluşturduğu, nasıl hareket ettiği ve canlı hücreler içinde nasıl davrandığı hâlâ açık sorulardır. Kapalı büyük zorluk, spesifik ve kesin bir şekilde ifade edilmiş bir zorluktur.

Bu hassasiyet, bu hikâyeyi burada anlatmanın özüdür. Yapısal tahminlerin düşmesini neden olan, orijinal olarak basit olması değil; çünkü yarım yüzyıllık başarısızlıklar tam tersini gösteriyor. Düşürülmesini sağlayan, 1994'te bu alanın kendi için bir puan tablosu kurmasıydı.

CASP'yi bilim yerine mühendislik olarak gördüğünüzde, ne sağladığını gösterir. Her tahmin için saniyeler içinde hesaplanabilen net bir başarı ölçüsü sunar. Cevaplar başka kişilerin laboratuvarında fiziksel olarak belirlendiği için, hile yapılmasını imkânsız kılan bir gerçek temel sunar. Sabit bir zaman diliminde sürekli yeni sorular akışı sağlar. Otuz yıldır puanlanmış geçmiş denemeleri sunar, yani bu alanda neyin daha iyi, neyin daha kötü olduğuna dair bir derecelendirme kaydı.

Bu tüm bunları yapan bir alanda, kendi sorunları için istemsiz olarak otomatik saldırılar hazırlanmıştır. Skor tablosu öncüldür. Geri kalan her şey mühendislik ve hesaplama olup, ikisi de uzun yıllar boyunca her yıl daha ucuz hale gelmektedir.

Bu, endişe verici bir şekilde kolayca tanıtılıyor. Nerede bir disiplin standart bir konsensüse ulaşmışsa, orada bir hedef yayınlanmış. Makine çevirinin değerlendirme bazları var. Konuşma tanımanın değerlendirme bazları var. Görüntü sınıflandırmanın, bir milyon fotoğrafın etiketlendiği bir kümesi ve yıllık bir yarışması var; o yarışmayı gören herkes hikayenin nasıl biteceğini biliyor. Kural, zor şeylerin önce düşmesi ya da kolay şeylerin önce düşmesi değil. Kural, ölçülen şeyin önce düşmesidir.

Bu, henüz ölçülmeyen tüm şeylere açık sorular ortaya koyar.

Son savunma, puanlanamayan şeyler olmalıydı.

Yazım, standart bir örnek değildir. Hiçbir program bir paragrafı alıp bunun ne kadar iyi olduğunu göstermek için bir sayı döndüremez. İki yetkin editörün görüşleri çelişir. Aynı editör, farklı günlerde kendisiyle çelişir. Dilin kalitesi, bağlam, hedef kitle, amaç ve zevkle bağlıdır; bunlar hiçbir ölçüye indirgenemez. Eğer makine bir puan tablosu gerektiriyorsa ve dilin bir puan tablosu yoksa, o zaman dil güvendedir.

Bu argüman geçerlidir. Ona olanlar, bu tüm hikâyede en önemli nedenidir.

Bu alanda iyi yazım için nesnel bir ölçüt bulunamadı. Hâlâ böyle bir şey yok. Yapılan şey, tek mevcut malzeme olan insan yargılarını kullanarak bir puan üretmek.

Bu yöntem, çoğu insanın düşündüğünden daha uzun bir tarihe sahiptir. 2008 yılında, Knox ve Stone, insanların akıllı ajanların davranışlarını gözlemleyip değerlendirme yaptığı, bu değerlendirmelerin ise insanların ne söyleyeceğini tahmin etmek için bir modeli eğitmek amacıyla kullanıldığı TAMER adlı bir sistem tanımladı. Daha sonra eğitim sinyallerini model, insanlar değil, sağladı. 2017 yılında, Christiano ve meslektaşları, bu fikri Atari oyunları ajanlarına uygulayan ve günümüz uygulamalarının doğrudan kökeni olarak kabul edilen bir çalışma yayınladı. 2019 yılında, Ziegler ve meslektaşları bu yöntemi dil modellerine uyguladı ve bugün kullanılan çoğu terim o makalede belirlendi. 2022 yılında, Ouyang ve meslektaşları bu yöntemi talimat takip görevlerinde endüstriyel ölçekte gösterdi ve kısa bir süre sonra dünyadaki çoğu insan, farkında olmadan bu sonuçlarla karşılaştı.

Çünkü itibarından çok daha basittir, temel mekanizmasını ayrıntılı olarak öğrenmek değerlidir.

Bir kişi, aynı bir isteğe karşı modelin ürettiği iki metin önünde oturuyor. Görev, bunları puanlamak değil. Puanlama, birinin yedi puanı başka birinin beş puanı olabildiği gibi, aynı kişi bir öğleden sonra içinde bile kararsız kaldığı için insanlar tarafından çok kötü yapılır. Görev sadece hangisinin daha iyi olduğunu söylemek. Bu, insanlar tarafından güvenilir bir şekilde yapılabilen bir yargıdır ve bu tür karşılaştırmaları tutarlı bir ölçeğe dönüştürmek için kullanılan matematiksel yöntemler, Bradley ve Terry'nin 1952'deki çift karşılaştırmalar üzerine çalışmalarına kadar uzanır.

Bu tür kararların verilmesi için düşünülen çalışma koşullarını göz önünde bulundurun, çünkü nihayetinde etki yaratırlar. Bu kişi, her saatte birçok kez bu tür kararlar verir, ücret alır ve müşterilerin daha iyi cevap olarak neleri gördüğünü açıklayan yazılı bir kılavuzla karşılaştırır. Bazı çiftler neredeyse tamamen aynıdır. Bazıları ise bu kişinin hiçbir bilgisi olmayan konuları içerir; bu durumlarda, daha güvenli ve daha iyi organize edilmiş cevap genellikle daha doğru olmasa bile seçilir. Bu, bu kişileri eleştirmek değildir. Bu, herhangi birinin bu koşullar altında ne yapacağını tanımlamaktır ve ortaya çıkan seçimler ham malzemeyi oluşturur.

Bu seçeneklerden yeterli miktarda toplarsanız, insanların iki metin arasından hangisini daha çok tercih edeceğini tahmin etmek için ikinci bir model eğitebilirsiniz. Bu ikinci model bir sayı üretir. Ve bir sayı, kadar süredir eksik olan tek şeydi.

Burada oluşturulan şeyi dikkatlice inceleyin, çünkü kolayca gözden kaçabilir. Optimize edilen puanlar dünyanın gerçekliğiyle ilgili değildir. Bu, belirli bir zamanda belirli talimatlarla çalışmak üzere işe alınan, diğer herkes gibi öğlen yorgunluk hisseden bir grup insanın yargılarının sıkıştırılmış, öğrenilmiş bir taklitidir. CASP, laboratuvar tarafından belirlenen fiziksel gerçekliğe göre tahminleri puanlarken, bu sistem insanlar tarafından kabul edilen istatistiksel profillere göre metinleri puanlar.

Bu portrait kullanışlıdır. Ancak aynı zamanda bir yaklaşımdır ve temsil edilen nesneyle arasındaki farklar kimse tam olarak anlamamıştır. Tercih modelimizin gerçek tercihlerimizi yakalayamadığı her şey hedefte yer almaz, bu nedenle optimize edilmez ve her türlü duruma maruz kalır—güçlü bir optimizasyon aracının bu miktarı korumak için bir nedeni yoktur.

Bu, yapısal bir gerçektir ve burada sonuçların ne kadar kötü olabileceği konusunda hiçbir iddia bulunmamaktadır. Şu anki vurgu daha dar ve daha zor reddedilebilir. Puanlanamayan şey kategorileri, göründüğü kadar geniş değildir. Bir alan ölçümüne direniyorsa, insan tercihlerinden bir ölçüm oluşturulabilir ve ilerlemeye devam edilebilir. Bu savunma, yalnızca kimse puan oluşturmayı düşünmediğinde etkilidir.

Bu, pratik bir soruyu ve kullanılabilir bir cevabı bırakır.

İstediğiniz herhangi bir etkinliği seçin: bir iş, bir zanaat, bir meslek veya yıllarca yapmayı öğrendiğiniz bir görev. Üç soru sorun.

Birinci olarak, başarı ve başarısızlık güvenilir bir şekilde ayırt edilebilir mi? Mükemmel olmasa da, herkes için değil, ancak yetkin bir yargıç çoğunlukla aynı fikirde kalabilecek kadar tutarlı olmalı. Oyun bu sınava kolayca geçer. Protein yapısı tahmini, laboratuvarların nihayetinde cevabı üretmesi nedeniyle bu sınava geçer. Yazma mutlak anlamda geçemez, ancak göreli anlamda geçer, çünkü insanlar genellikle iki denemeden hangisinin daha iyi olduğunu söyleyebilir.

İkinci olarak, bu tür bir değerlendirme düşük maliyetle ve ölçekli bir şekilde üretilebilir mi? Bu soru, olasılık değil, zamanlamayı belirler. Oyun içindeki gibi ücretsiz ve anlık bir değerlendirme, sistemin milyonlarca eğitim verisi kendiliğinden oluşturmasını sağlar. Bir laboratuvar gerektiren değerlendirme daha yavaş ancak hâlâ mümkündür; otuz yıllık puanlama denemeleri arşivi mevcuttur. Ücretli insanların metin okumasını gerektiren bir değerlendirme çok pahalıdır; tam olarak bu nedenle, bu insanları döngüden çıkarmak ve onları taklit edecek modelleri eğitmek için büyük çaba harcanmıştır.

Üçüncüsü, bu karar bir alanın ne zaman çökeceğine değil, sonrasında ne olacağını belirler: Bu puan gerçekten istediğiniz şey mi? Oyunun puanı, oyun içinde kazanmanın tanım itibarıyla tüm anlamını taşıdığı için istediğiniz şeydir. Deneysel olarak ölçülen protein yapıları, istediğiniz şeyle çok yakındır. Bir etiketleyicinin tercihlerine dayalı bir öğrenme modeli ise istediğiniz şey değildir. Bu, istediğiniz şeyin bir resmidir ve resim ile yüz arasında bir fark vardır.

Kendi çalışmanızı bu üç soruyla test edin. Çoğu insan ilk cevabı hızlıca ve rahatsız edici şekilde bulur. Gördüğümüz çoğu beceri, en azından göreceli anlamda, yetenekli kişilerin yan yana iki kez denemesiyle değerlendirilebilir. İkinci soru, maliyet ve ölçek hareketli hedefler olduğu ve uzun zamandır bir yönde hareket ettiğinden dolayı gerçek belirsizliğin yeridir. Üçüncü soru ise neredeyse kimse tarafından sorulmayan ve alanınızın diğer tarafının nasıl göründüğünü belirleyen sorudur.

Bazı sıradan şeylerde bu alıştırmayı yavaşça yapmak değerli. Radyolojiyi alın. Başarı ve başarısızlık ayırt edilebilir mi? Evet, ve çok kesin, çünkü teşhis nihayetinde hasta durumuyla doğrulanır veya çürütülür. Puanlama düşük maliyetle büyük ölçekli üretilebilir mi? Temel olarak evet, çünkü hastaneler yıllardır görüntü ve onaylanmış sonuçlar şeklinde puanlama örnekleri biriktirmektedir. Bu puan, istediğiniz şey mi? Burada cevap karmaşık hale gelir, çünkü değerlendirilen, kaydedilen teşhis ile uyumluluktur; ancak arzu edilen, hastanın durumunun iyi olmasıdır ve bu iki şey çoğu zaman uyumlu olmakla birlikte, en önemli durumlarda ayrılır.

Daha güvenli görünen bir şey alın. Yönetimden bahsedelim. İlk soru zaten zor, çünkü yetenekli kişiler, verilen bir yöneticinin iyi olup olmadığı konusunda fikir birliğine varamıyor ve bu anlaşmazlıklar hızlıca çözülüyor değil. İkinci soru daha da zor, çünkü yönetim kararlarının sonuçları yıllar sonra ortaya çıkıyor ve meydana gelen diğer her şeyle karışıyor. Üçüncü soru en zor, çünkü herhangi biri tarafından önerilen iyi yönetim için alternatif göstergeler—kalıcılık oranı, bağlılık puanları, kişi başına çıktı gibi—açıkça olayların kendisi değil. Bu tanıya göre, yönetim derinlik nedeniyle güvenli değil. Ölçülmüyor, bu da farklı ve daha az hoş bir koruma şekli.

Makineler zaten optimizasyon eksenini ele geçirdi. Yeterli hesaplama gücüyle, herhangi bir açıkça belirlenmiş hedef üzerinde iyi hamleleri bulmak artık bir yarışma değil ve sonuçlar sadece bizimkilerden daha güçlü olmakla kalmıyor, aynı zamanda geleneksel yöntemlerimizin bize bakmamamızı öğrettikleri yerlere ulaşıyor. Bu bir tahmin değil. Satranç, go, shogi, protein yapıları ve daha önce yalnızca insanlar tarafından yapılabilecekler listesinde yer alan giderek artan sayıdaki şeyleri tanımlamaktır.

Kalan, hedefin kendisidir. Kimse puanların ne olacağını kararlaştırır. Yukarıdaki her durumda, bu karar bir öğlen süresince verildi ve her olağanüstü sonuç, ondan doğdu, ona sadık kaldı ve atladığı her şeyden habersizdi.

Bu yüzden son soru derinlemesine düşünülmeye değer. Çalışmanıza zaten puanlar mı verildi? Eğer verildiyse, kim yazdı ve yazarken sizin düşünüp düşünmedikleri?

Bu, makinelerin sonunda bize ne istediğini ve ne kadar kötü yaptığımızı anlatan "İstediğin Her Şey" serisinin ikinci bölümüdür.