Jalan AI Menuju Penguasaan: Di Mana Sistem Penilaian Ada, AI Mengikuti

Penulis: Robonaissance

Diterjemahkan oleh Deep潮 TechFlow

DeepChao Overview: Go, chess, protein folding—why have these fields, seemingly requiring human intuition and creativity, been successively overcome by AI? This article reveals an overlooked pattern: what determines whether AI can surpass humans is not the difficulty of the task, but whether a scoring system for success can be established. Once a field establishes a scoring standard, it sets a countdown to its own defeat.

Dipilih dari seri Whatever You Ask For, tentang satu-satunya pekerjaan yang tidak bisa dilakukan mesin untuk kita.

Pada 10 Maret 2016, di sebuah hotel di Seoul, sebuah mesin membuat langkah yang tidak dimengerti oleh semua orang di ruangan itu, sementara lawannya tidak hadir.

Lee Se-dol pergi merokok. Saat itu ia berusia 33 tahun, memegang 18 gelar juara dunia, dan secara luas diakui sebagai pemain go terkuat di generasinya. Ia kalah di pertandingan pertama hari sebelumnya, dan saat memasuki pertandingan kedua, kepercayaan dirinya sebelum pertandingan berkurang signifikan, sikapnya menjadi lebih hati-hati. Saat ia berada di luar, AlphaGo memilih langkah ke-37, dan peneliti DeepMind, Huang Shi-jie, menggantikan mesin tersebut dengan tenang meletakkan bidak di papan catur.

Batu catur jatuh di garis kelima.

Bagi orang yang tidak mengerti go, ini tidak berarti apa-apa. Bagi yang mengerti, ini hampir seperti kegilaan. Pada tahap pembukaan dan tengah permainan, posisi yang jauh dari tepi dianggap tidak efisien, karena tidak bisa mendapatkan wilayah nyata maupun mempertahankan teritori, sama saja dengan memberi poin gratis kepada lawan. Ini adalah langkah yang akan diperbaiki guru kepada pemain pemula. Di meja komentar, grandmaster profesional top Michael Redmond, saat menyiaran langsung pertandingan, awalnya mengira ada kesalahan sinyal papan catur. Ia mengambil satu biji catur, lalu meletakkannya kembali.

Li Seok-ho kembali duduk dan memandangi papan catur dalam waktu lama tanpa bergerak. Berbagai perkiraan waktu berkisar antara sekitar 12 hingga 15 menit. Fan Hui, juara Eropa yang dikalahkan oleh AlphaGo lima bulan lalu, berada di gedung tersebut untuk menyaksikan pertandingan. Setelah memandang lama, ia menyimpulkan: "Ini bukan langkah yang dilakukan manusia. Saya belum pernah melihat seseorang bermain seperti ini."

Dia benar, dan kebenarannya dapat diukur. Sistem DeepMind memiliki mekanisme estimasi internal yang, setelah belajar dari banyak permainan manusia, memperkirakan probabilitas manusia memainkan langkah tertentu dalam posisi apa pun. Untuk langkah ke-37, nilai estimasi ini sekitar satu per sepuluh ribu.

Mesin tetap bergerak, dan langkah ini memenangkan seluruh permainan.

Ada interpretasi yang nyaman terhadap kisah ini, yang mengatakan bahwa mesin bekerja sangat keras untuk belajar dari para master manusia, dan akhirnya menyamai yang terkuat di antara mereka. Interpretasi ini salah, dan angka satu per sepuluh ribu justru menunjukkan mengapa hal itu salah. Sistem yang belajar dan meniru langkah-langkah manusia memiliki batas atas, yaitu langkah-langkah manusia itu sendiri. Yang terjadi di Seoul adalah, sebuah sistem tidak lagi dibatasi oleh batas atas itu, karena tujuan yang diberikan kepadanya bukanlah pengakuan dari para master manusia, tetapi kemenangan dalam permainan.

Perbedaan ini lebih berguna untuk menunjukkan arah daripada sekadar memuji. Jika Anda ingin tahu aktivitas manusia mana yang sudah kalah dalam dimensi kemampuan murni, dan mana yang akan menyusul, pertanyaan yang harus diajukan bukanlah seberapa sulit aktivitas itu, seberapa butuh kreativitas, atau seberapa banyak intuisi yang dibutuhkan. Pertanyaannya jauh lebih membosankan dari itu.

Masalahnya, apakah kesuksesan bisa dinilai.

Catur kalah 19 tahun lalu, dengan cara yang sama sekali berbeda.

Deep Blue pada tahun 1997 mengalahkan Kasparov dengan arsitektur yang pada dasarnya merupakan bentuk ekspresi manusia yang besar. Fungsi evaluasinya—komponen yang menilai suatu posisi dan memberikan angka seberapa baiknya—dirakit dan disesuaikan dengan bantuan para grandmaster. Pengetahuan catur manusia dengan susah payah diekstraksi dari para pemain catur manusia dan dimasukkan ke dalam mesin. Yang ditambahkan oleh mesin adalah kemampuan pencarian: melihat lebih banyak langkah ke depan lebih cepat, tanpa lelah, dan tidak kehilangan bidak karena kehilangan fokus.

Ini adalah kemenangan sejati yang seharusnya dianggap sebagai kemenangan. Namun, perhatikan bentuknya. Pemahaman Deep Blue terhadap catur adalah pemahaman manusia. Keunggulannya terletak pada kecepatan. Jika Anda bertanya mengapa ia menilai suatu posisi dengan cara itu, jawabannya pada akhirnya akan kembali kepada seseorang yang memberi tahu dia untuk melakukannya.

20 tahun kemudian, DeepMind merilis sistem bernama AlphaZero dengan bentuk yang berubah.

AlphaZero diberi aturan catur. Ia tidak diberi buku pembukaan—daftar langkah pertama yang diteliti yang menjadi andalan setiap program serius. Ia tidak diberi tabel endgame. Ia tidak diberi satu pun pertandingan manusia. Ia bermain melawan dirinya sendiri, dimulai dari langkah acak, dan menyesuaikan dirinya berdasarkan apa yang menghasilkan kemenangan.

Sekitar empat jam kemudian, DeepMind memperkirakan peringkatnya melebihi program tradisional terkuat pada saat itu, Stockfish 8. Sekitar sembilan jam kemudian, ia bermain seratus partai melawan Stockfish dalam kondisi waktu terbatas, menang 28 partai, tidak kalah sama sekali, dan 72 partai berakhir seri. Makalah tersebut melaporkan bahwa dalam 24 jam, ia mencapai tingkat superhuman dalam catur, shogi, dan go.

Angka-angka ini sering dikutip tanpa bagian narasi lainnya, padahal bagian lainnya sangat penting. Permainan catur melawan diri sendiri dihasilkan di lima ribu unit pemroses tensor generasi pertama, dengan enam puluh empat unit generasi kedua melatih jaringan, semuanya berjalan paralel. Empat jam waktu jam dinding adalah empat jam komputasi—jumlah yang tidak dapat dirakit oleh siapa pun, bahkan oleh sedikit institusi. Prestasinya bukanlah bahwa bermain catur menjadi mudah. Prestasinya adalah, ketika Anda memiliki begitu banyak daya komputasi, pengetahuan manusia tidak lagi menjadi hal yang Anda butuhkan.

Kasparov memiliki alasan lebih besar daripada siapa pun yang masih hidup untuk menganggap hasil ini sebagai serangan pribadi terhadap dirinya, namun ia menulis sebuah komentar di jurnal《Science》dengan sikap yang sangat besar hati. Observasinya adalah bahwa AlphaZero tidak memainkan catur yang membosankan, hati-hati, cenderung remis seperti yang diharapkan semua orang dari mesin sempurna. Ia lebih menyukai aktivitas daripada kekuatan materi, dan bersedia melepaskan bidak demi posisi yang menurutnya berisiko. Ia menunjukkan bahwa program tradisional membawa prioritas dan bias dari para pembuatnya. AlphaZero menulis dirinya sendiri. Ia menyimpulkan bahwa gayanya karena itu mencerminkan sesuatu yang lebih otentik daripada selera programmer, dan mengamati bahwa ia memeriksa jauh lebih sedikit posisi per detik dibandingkan mesin tradisional terbaik di dunia, namun tetap menang.

Detail terakhir ini patut diingat. Mesin tradisional memiliki jauh lebih banyak kemungkinan yang dicari per detik, namun kalah. Keunggulan AlphaZero bukanlah berusaha melihat lebih keras, tetapi tahu ke mana harus melihat, dan pengetahuan ini dirangkai dari jutaan pertandingan melawan dirinya sendiri serta aturan tentang siapa yang menang, tanpa yang lain.

Hasil permainan shogi terasa lebih aneh bagi mereka yang mampu memahaminya. Shogi adalah permainan papan Jepang di mana bidak yang dimakan akan kembali ke tangan pemain yang memakannya, membuat fluktuasi posisi melebihi catur internasional, serta memiliki teori ratusan tahun tentang cara melindungi keselamatan raja. Para pemain kuat yang mengamati pertandingan mesin melaporkan bahwa pembukaan melanggar teori yang sudah dikenal, dan raja bergerak ke pusat papan saat buku-buku mana pun mengatakan seharusnya mundur ke sudut. Pertandingan-pertandingan ini hampir tidak bisa dibaca oleh mata yang terlatih, tetapi mereka menang.

Letakkan dua sistem berdampingan, polanya jelas hingga membuat tidak nyaman. Biru tua adalah pengetahuan manusia ditambah kecepatan mesin. AlphaZero adalah kecepatan mesin ditambah definisi kemenangan, pengetahuan manusia sengaja dihilangkan. Versi yang menghilangkan pengetahuan manusia lebih baik.

Semua ini tidak berarti mesin tahun 2016 itu sempurna, pertandingan Seoul yang sama berisi buktinya.

Pada langkah keempat, dengan ketinggalan tiga set dan berjuang demi kehormatan, Lee Sedol menempatkan sebuah batu di antara dua kelompok batu AlphaGo di tengah papan catur. Batu itu kemudian dikenal sebagai "Langkah Ilahi". AlphaGo sendiri memperkirakan probabilitas manusia memainkan langkah ini sekitar satu dari sepuluh ribu, secara ajaib sejajar. Sistem gagal merespons. Evaluasi probabilitas kemenangannya runtuh dalam beberapa langkah berikutnya, kekuatan permainannya memburuk, dan ia kalah dalam pertandingan ini.

Jadi pada Maret 2016, masih ada celah pada mesin itu, dan seorang manusia menemukannya di bawah tekanan paling besar, sambil diperhatikan seluruh dunia. Ini layak dinyatakan secara jelas, bukan diabaikan secara diam-diam. Sama pentingnya untuk menyebutkan apa yang terjadi kemudian: celah-celah semacam itu secara konsisten diperbaiki, penerus sistem tersebut tidak lagi kalah dalam permainan semacam ini, dan mesin unggulan puncak sudah lama tidak kalah dari manusia dalam pertandingan serius. Hasil tahun 2016 adalah snapshot perubahan, bukan keseimbangan kekuatan yang permanen.

Dari papan catur hingga segala hal lainnya, yang dialihkan bukanlah kemenangan itu sendiri, melainkan mekanismenya. Catur dan Go pasti akan menjadi yang pertama jatuh, karena alasannya sangat sederhana dan memalukan. Dalam permainan ini, keberhasilan didefinisikan oleh aturan dengan cara yang sepenuhnya tepat. Anda menang atau tidak menang, penilaian bersifat gratis, instan, dan tidak dipertentangkan. Sebuah sistem dapat bermain empat puluh juta permainan sendirian dalam satu akhir pekan, menghasilkan empat puluh juta keputusan yang jelas dan pasti.

Ini menunjukkan tempat berikutnya yang perlu diperhatikan. Bukan tugas-tugas sederhana, tetapi tugas-tugas yang sudah memiliki sistem penilaian sendiri.

Protein adalah rantai asam amino yang melipat menjadi bentuk tiga dimensi yang kompleks segera setelah diproduksi. Bentuk menentukan fungsi protein. Urutan menentukan bentuk. Menurunkan bentuk dari urutan sejak awal 1970-an telah menjadi masalah terbuka dalam biologi, dan tetap terbuka dengan cara yang menolak semua pendekatan: mulai dari simulasi fisika berdasarkan prinsip pertama, analisis statistik berdasarkan hubungan evolusioner, hingga intuisi struktural yang terakumulasi selama puluhan tahun—semuanya gagal.

Pada tahun 1994, sekelompok peneliti yang dipimpin oleh John Moult melakukan sesuatu terhadap fakta ini: setiap orang di bidang ini mengklaim kemajuan, tetapi tidak ada yang bisa memverifikasi.

Mereka membuat sebuah ujian. Sejak itu, setiap dua tahun sekali, Critical Assessment of Structure Prediction (CASP) mempublikasikan urutan protein yang strukturnya baru saja ditentukan secara eksperimen, bahkan dalam beberapa kasus masih dalam proses penentuan, kepada seluruh dunia. Setiap tim dapat mengirimkan prediksi. Tidak ada yang dapat mengakses jawabannya, karena jawaban untuk beberapa target belum ada. Ketika struktur eksperimen tersedia, prediksi akan dinilai berdasarkan perbandingan.

Penilaian menggunakan metrik yang disebut Global Distance Test, pada skala 0 hingga 100, yang dapat dipahami secara kasar sebagai persentase seberapa dekat posisi akhir rantai dengan posisi sebenarnya. Moult pernah mengatakan bahwa sekitar 90 poin secara tidak resmi dianggap setara dengan struktur yang ditentukan di laboratorium. Dalam sebagian besar sejarah penilaian, prediksi terbaik berkisar di sekitar 60 poin.

Pada CASP14 tahun 2020, peserta yang terdaftar sebagai kelompok 427 mencapai skor median 92,4 pada semua target. Pada kategori paling sulit—target tanpa homologi struktural yang bermanfaat—skor median adalah 87,0. Kesalahan rata-rata sekitar 1,6 angstrom, sekitar setara dengan lebar satu atom.

Moult telah menjabat sebagai ketua sejak awal kompetisi, dan ia membawa penonton melihat kembali sejarah kompetisi sebelum menampilkan grafik. Grafik tersebut menggambarkan seluruh cerita dalam satu gambar. Garis dua puluh tahun merayap di sekitar 60, lalu sebuah garis berdiri di tempat yang belum pernah dicapai garis-garis lainnya.

Kelompok 427 adalah AlphaFold2. Moult mengumumkan bahwa masalah untuk rantai protein tunggal telah terpecahkan.

Kata kunci seharusnya ada di sana, di setiap narasi yang jujur. Satu rantai bukan seluruh ilmu protein. Bagaimana protein merakit menjadi kompleks, bagaimana bergerak, dan bagaimana berperilaku dalam sel hidup, semuanya masih terbuka. Tantangan besar yang tertutup adalah tantangan spesifik yang dinyatakan secara tepat.

Dan ketepatan inilah yang menjadi inti cerita ini. Yang membuat prediksi struktural runtuh bukan karena pada dasarnya sederhana, karena kegagalan selama setengah abad justru menunjukkan sebaliknya. Yang membuatnya runtuh adalah bahwa pada tahun 1994, bidang ini membuat papan skor sendiri.

Melihat CASP sebagai teknik daripada ilmu, ia menyediakan pengukuran keberhasilan yang jelas dan pasti untuk setiap prediksi, yang dapat dihitung dalam beberapa detik. Ia menyediakan fakta acuan yang tidak bisa dimanipulasi, karena jawabannya ditentukan secara fisik oleh orang lain di laboratorium. Ia menyediakan aliran masalah baru yang dihasilkan secara teratur sesuai jadwal tetap. Ia menyediakan sejarah upaya penilaian selama tiga puluh tahun, yaitu catatan tingkat kinerja tentang apa yang lebih baik dan apa yang lebih buruk di bidang ini.

Sebuah bidang yang melakukan semua hal ini secara tidak sengaja mempersiapkan serangan otomatis terhadap masalahnya sendiri. Skor adalah prasyarat. Semua hal lainnya adalah teknik dan komputasi, dan keduanya setiap tahun menjadi lebih murah selama periode waktu yang lama.

Ini mendorong dengan cara yang mengganggu dan mudah. Di mana pun ada disiplin yang mencapai konsensus benchmark, di situlah diterbitkan sebuah target. Terjemahan mesin memiliki benchmark penilaian. Pengenalan suara memiliki benchmark penilaian. Klasifikasi gambar memiliki kumpulan satu juta foto yang dilabeli dan kompetisi tahunan, setiap orang yang pernah melihat kompetisi itu tahu bagaimana ceritanya berakhir. Aturannya bukan hal yang sulit yang jatuh terlebih dahulu, atau hal yang sederhana yang jatuh terlebih dahulu. Aturannya adalah hal yang diukur yang jatuh terlebih dahulu.

Ini menimbulkan pertanyaan jelas untuk semua hal yang belum diukur.

Benteng terakhir seharusnya adalah hal-hal yang tidak bisa dinilai.

Menulis adalah contoh standar. Tidak ada program yang bisa mengambil sebuah paragraf dan mengembalikan angka yang menyatakan seberapa baiknya. Dua editor yang kompeten bisa memiliki pendapat yang berbeda. Seorang editor yang sama bisa berbeda pendapat dengan dirinya sendiri di hari yang berbeda. Kualitas bahasa terikat erat dengan konteks, audiens, tujuan, dan selera, yang semuanya tidak bisa direduksi menjadi satu nilai pengukuran. Jika mesin membutuhkan papan skor, sedangkan bahasa tidak memiliki papan skor, maka bahasa tetap aman.

Argumen ini valid. Hal yang terjadi padanya adalah alasan paling penting dalam seluruh narasi ini.

Tidak ada ukuran objektif yang baik untuk menilai penulisan di bidang ini. Masih belum ada hal semacam itu. Yang dilakukannya adalah membuat skor menggunakan satu-satunya bahan yang tersedia, yaitu penilaian manusia itu sendiri.

Metode ini memiliki sejarah yang lebih panjang daripada yang diperkirakan kebanyakan orang. Pada tahun 2008, Knox dan Stone menggambarkan sebuah sistem bernama TAMER, yang memungkinkan manusia mengamati perilaku agen cerdas dan memberikan evaluasi, yang kemudian digunakan untuk melatih model guna memprediksi apa yang akan dikatakan manusia. Selanjutnya, sinyal pelatihan diberikan oleh model, bukan oleh manusia. Pada tahun 2017, Christiano dan rekan-rekannya menerbitkan karya yang dianggap oleh kebanyakan orang sebagai asal langsung dari praktik saat ini, menerapkan ide ini pada agen game Atari. Pada tahun 2019, Ziegler dan rekan-rekannya menerapkannya pada model bahasa, di mana sebagian besar istilah yang digunakan hari ini ditetapkan dalam makalah tersebut. Pada tahun 2022, Ouyang dan rekan-rekannya menunjukkan metode ini dalam skala industri pada tugas pengikutan instruksi, dan tak lama setelah itu, sebagian besar orang di dunia tanpa sadar terpapar pada hasil-hasil ini.

Mekanisme intinya layak dipahami secara mendalam, karena jauh lebih sederhana daripada yang terdengar dari reputasinya.

Seseorang duduk di depan dua teks, keduanya dihasilkan oleh model berdasarkan petunjuk yang sama. Tugasnya bukan memberi nilai. Memberi nilai justru hal yang dilakukan manusia dengan buruk, karena tujuh dari seseorang adalah lima dari orang lain, dan bahkan orang yang sama pun tidak stabil dalam satu sore. Tugasnya hanya mengatakan mana yang lebih baik. Ini adalah penilaian yang dapat diandalkan oleh manusia, dan metode matematis untuk mengubah serangkaian perbandingan semacam ini menjadi skala yang konsisten, jauh lebih tua daripada bidang penggunaannya, dan dapat ditelusuri kembali ke karya Bradley dan Terry pada tahun 1952 tentang perbandingan berpasangan.

Pertimbangkan kondisi kerja yang mendasari penilaian semacam ini, karena pada akhirnya akan berdampak. Orang ini membuat banyak penilaian semacam itu setiap jam, dibayar untuk membandingkan panduan tertulis yang menjelaskan apa yang dianggap pelanggan sebagai jawaban yang lebih baik. Beberapa pasangan hampir identik. Beberapa melibatkan topik yang sama sekali tidak diketahui oleh orang tersebut, dan dalam kasus seperti itu, jawaban yang lebih percaya diri dan lebih terorganisir sering dipilih, terlepas dari apakah itu lebih akurat atau tidak. Ini bukan kritik terhadap orang-orang ini. Ini adalah deskripsi tentang apa yang akan dilakukan siapa pun dalam kondisi seperti ini, dan pilihan yang dihasilkan menjadi bahan baku.

Kumpulkan cukup banyak pilihan ini, dan Anda dapat melatih model kedua yang tugasnya memprediksi teks mana di antara dua teks yang lebih disukai manusia. Model kedua ini menghasilkan sebuah angka. Dan angka itulah satu-satunya hal yang selama ini hilang.

Perhatikan dengan cermat apa yang sedang dibangun di sini, karena mudah diabaikan. Skor yang dioptimalkan bukanlah tentang fakta dunia. Ini tentang model kita. Ini adalah representasi terkompresi dan dipelajari dari penilaian sekelompok orang tertentu yang direkrut pada waktu tertentu, bekerja di bawah instruksi tertentu, dan seperti semua orang lainnya merasa lelah di sore hari. CASP menilai prediksi berdasarkan realitas fisik yang ditentukan oleh laboratorium, sementara sistem ini menilai teks berdasarkan gambar statistik yang diakui oleh manusia.

Gambar ini berguna. Namun, ia juga pastilah sebuah pendekatan, dengan perbedaan antara dirinya dan objek yang digambarkan, yang belum sepenuhnya dipahami oleh siapa pun. Apa pun tentang preferensi sebenarnya kita yang tidak tertangkap oleh model preferensi kita tidak ada dalam tujuan, sehingga tidak akan dioptimalkan, dan karena itu akan terpengaruh oleh segala situasi—sedangkan optimizer yang kuat tidak memiliki alasan untuk melindungi kuantitas ini.

Ini adalah fakta tentang konstruksi, dan di sini tidak ada klaim tentang seberapa buruk konsekuensinya. Poin yang sedang dibahas lebih sempit dan lebih sulit untuk dibantah. Kategori hal-hal yang tidak dapat dinilai lebih kecil daripada yang tampak. Jika suatu bidang menolak pengukuran, pengukuran dapat dibangun dari preferensi manusia dan terus dilanjutkan. Pertahanan ini hanya efektif jika tidak ada yang berpikir untuk membuat skor.

Ini meninggalkan sebuah pertanyaan praktis, dan sebuah jawaban yang dapat digunakan.

Pilih aktivitas apa pun yang kamu sukai: pekerjaan, keterampilan, profesi, atau tugas yang telah kamu pelajari selama bertahun-tahun untuk dikuasai. Tanyakan tiga pertanyaan.

Pertama, apakah keberhasilan dan kegagalan dapat dibedakan dengan andal? Tidak secara sempurna, dan tidak semua orang bisa, tetapi cukup konsisten agar penilai yang kompeten sebagian besar waktu sepakat. Permainan lulus dengan mudah melalui ujian ini. Prediksi struktur protein lulus karena laboratorium pada akhirnya akan menghasilkan jawaban. Menulis tidak lulus dalam arti absolut, tetapi lulus dalam arti relatif, karena orang biasanya dapat mengatakan mana dari dua upaya yang lebih baik.

Kedua, apakah penilaian semacam ini dapat dihasilkan secara besar-besaran dengan biaya rendah? Pertanyaan ini menentukan waktu, bukan kemungkinan. Sebuah penilaian gratis dan instan, seperti dalam permainan, berarti sistem dapat menghasilkan sendiri jutaan data pelatihan. Penilaian yang memerlukan laboratorium lebih lambat tetapi masih feasible, dengan arsip upaya penilaian selama tiga puluh tahun. Penilaian yang memerlukan pembacaan teks oleh manusia berbayar sangat mahal, itulah mengapa begitu banyak upaya diinvestasikan untuk melatih model meniru manusia ini dan mengeluarkan mereka dari siklus.

Ketiga, keputusan ini bukan tentang kapan suatu bidang akan runtuh, tetapi tentang apa yang akan terjadi setelahnya: apakah skor ini benar-benar sesuatu yang Anda inginkan? Skor permainan adalah sesuatu yang Anda inginkan, karena dalam permainan, menang secara definisi adalah seluruh maknanya. Struktur protein yang diukur secara eksperimen sangat dekat dengan sesuatu yang Anda inginkan. Model yang belajar dari preferensi penanda bukanlah sesuatu yang Anda inginkan. Itu adalah gambaran dari sesuatu yang Anda inginkan, dan ada jarak antara gambaran dan wajah aslinya.

Uji pekerjaanmu sendiri dengan tiga pertanyaan ini. Kebanyakan orang menemukan jawaban pertama datang dengan cepat dan mengganggu. Sebagian besar hal yang kita sebut keterampilan, setidaknya dalam arti relatif, dapat dinilai ketika dilihat berdampingan oleh orang yang mampu melakukan dua upaya. Pertanyaan kedua adalah tempat ketidakpastian sejati, karena biaya dan skala adalah target bergerak, dan keduanya telah bergerak ke arah yang sama selama waktu yang sangat lama. Pertanyaan ketiga hampir tidak pernah diajukan, dan ia menentukan seperti apa bidangmu di sisi seberang.

Lakukan latihan ini perlahan pada beberapa hal biasa. Ambil contoh radiologi. Apakah keberhasilan dan kegagalan dapat dibedakan? Ya, dan sangat akurat, karena diagnosis akhirnya akan diverifikasi atau dibantah oleh kondisi pasien. Apakah penilaian dapat dihasilkan secara besar-besaran dengan biaya rendah? Hampir ya, karena rumah sakit selama puluhan tahun telah mengumpulkan sampel penilaian dalam bentuk gambar dan hasil konfirmasi. Apakah skor ini yang Anda inginkan? Jawabannya menjadi kompleks, karena yang dinilai adalah konsistensi dengan diagnosis yang dicatat, sedangkan yang diinginkan adalah kondisi pasien yang baik; kedua hal ini seringkali sejalan, tetapi justru terpisah pada kasus-kasus paling penting.

Ambil sesuatu yang tampak lebih aman, misalnya manajemen. Pertanyaan pertama sudah sulit, karena orang-orang yang kompeten tidak sepakat tentang apakah seorang manajer tertentu itu baik, dan perbedaan pendapat ini tidak akan cepat teratasi. Pertanyaan kedua lebih sulit lagi, karena hasil keputusan manajemen baru muncul bertahun-tahun kemudian, terjerat bersama segala hal lain yang terjadi. Pertanyaan ketiga paling sulit, karena setiap indikator alternatif manajemen yang baik yang diajukan siapa pun—mulai dari tingkat retensi hingga skor keterlibatan hingga output per orang—jelas bukanlah inti masalahnya sendiri. Berdasarkan diagnosis ini, manajemen bukanlah sesuatu yang aman karena kedalamannya. Ia tidak terukur, yang merupakan bentuk perlindungan yang berbeda dan kurang menyenangkan.

Mesin telah menguasai sumbu optimasi. Pada setiap tujuan yang secara eksplisit ditentukan, dengan cukup komputasi, mencari langkah terbaik bukan lagi kompetisi, dan hasilnya seringkali tidak hanya lebih kuat daripada milik kita, tetapi juga lebih asing, mencapai tempat-tempat yang diajarkan oleh tradisi kita untuk tidak diperhatikan. Ini bukan prediksi. Ini adalah deskripsi terhadap catur, go, shogi, struktur protein, dan semakin banyak hal lain yang sebelumnya berada di daftar yang hanya bisa dilakukan oleh manusia.

Yang tersisa adalah tujuan itu sendiri. Seseorang memutuskan apa yang menjadi skor. Dalam setiap kasus di atas, keputusan itu memakan waktu sepanjang sore, dan setiap hasil luar biasa berasal darinya, setia padanya, dan tidak peduli terhadap apa pun yang terlewatkan.

Jadi, pertanyaan terakhir ini patut dipertimbangkan. Dalam pekerjaanmu, apakah sudah ada skor? Jika ya, siapa yang menulisnya, dan saat menulisnya, apakah mereka memikirkanmu?

Ini adalah bagian kedua dari seri "Whatever You Ask For", tentang apa yang akhirnya dibutuhkan mesin dari kita, dan seberapa buruk kita melakukannya.