Daan ng AI patungo sa pagkamahusay: Kung may sistema ng pagsusuri, dito sumusunod ang AI

May-akda: Robonaissance

Isinalin: Deep潮 TechFlow

DeepChao Summary: Mga larangan tulad ng Go, chess, at protein folding—mga领域 na tila nangangailangan ng tao na intuisyon at kreatibidad—bakit sila ay iisa-isang nababasag ng AI? Ipinapakita ng artikulong ito ang isang nakalimutang pattern: ang hindi ang kalalabasan ng gawain ang nagdedesisyon kung kaya ng AI na lalampas sa tao, kundi kung mayroon bang paraan na magbigay ng puntos sa tagumpay. Kapag mayroon nang istandard na pagsusuri sa isang larangan, ito ay nagtatayo ng count down para sa sariling pagkabasag.

Mula sa serye na “Whatever You Ask For”, tungkol sa iisang trabaho na hindi kayang gawin ng machine para sa atin.

Noong Marso 10, 2016, sa isang hotel sa Seoul, isang makina ay naglabas ng isang hakbang na hindi maintindihan ng lahat sa silid, habang ang kanyang kalaban ay nasa labas.

Lis Seok ay umalis para uminom ng sigarilyo. Siya ay 33 taong gulang noon, may 18 world championship titles, at kilala bilang pinakamalakas na go player ng kanyang henerasyon. Nasira niya ang unang laro noong nakaraang araw, at nang pumasok sa ikalawang laro, ang kanyang kumpiyansa sa simula ay bumaba, at mas maingat na ang kanyang pananaw. Habang nasa labas siya, pumili ang AlphaGo ng ika-37 na hakbang, at ang researcher ng DeepMind na si Huang Shih-chieh ay umalay sa halip para sa machine, at tahimik na isinabuhos ang piraso sa board.

Ang piraso ay napanatili sa ika-limang linya.

Para sa mga hindi nakakaalam ng Go, walang kwenta ito. Para sa mga nakakaalam, ito ay halos kawalang-sensyo. Sa unang bahagi at gitnang yugto ng laro, ang mga posisyon na malayo sa gilid ay itinuturing na hindi epektibo, dahil hindi nakakakuha ng teritoryo at hindi nakakapagtatag ng kontrol, kaya parang ibinibigay ang puntos sa kalaban. Ito ay uri ng paglalaro na iiwasan ng guro sa mga baguhan. Sa booth ng komentador, ang pinakamataas na propesyonal na manglalaro na si Michael Redmond ay unang akalain na may error sa signal ng board habang naglalathala ng live na laro. Kinuha niya ang isang bato, tapos isinauli niya ito.

Umulit si Lee Se-dol sa upuan at nagtingin nang matagal sa board nang walang galaw. Ang iba’t ibang ulat ay nagsasabi ng 12 hanggang 15 minuto. Si Fan Hui, ang European champion na nasakop ni AlphaGo nang limang buwan na ang nakalipas, ay nasa loob ng gusali at nagsuri. Ang kanyang pagtataya pagkatapos ng matagal na pagtingin: "Hindi ito para sa isang tao. Hindi ko pa nakikita ang ganitong paglalaro mula sa isang tao."

Tama siya, at ang kanyang pagkakatama ay maaaring masukat. Mayroon ang sistema ng DeepMind isang mekanismo ng pagtatantiya na, sa pamamagitan ng pag-aaral ng malaking bilang ng mga laro ng tao, ay nagtatantiya ng probabilidad na gawin ng isang tao ang isang partikular na hakbang sa anumang sitwasyon. Para sa ika-37 na hakbang, ang tinantiyang halaga ay halos isang sa sampung libo.

Nagpatuloy pa ang machine, at ang hakbang na ito ang nagwagi sa buong laro.

May isang komportableng pag-unawa sa kuwento na ang machine ay napakadaling natututo sa mga human master, at sa huli ay nakasalubong ang pinakamalakas sa kanila. Ang pag-unawa na ito ay mali, at ang numero na isang milyonesimo ay eksaktong nagpapakita kung bakit ito mali. May hangganan ang isang sistema na natututo at nagtatangkang imitahin ang mga paggalaw ng tao—ang hangganan ay ang mga paggalaw ng tao mismo. Ang nangyari sa Seoul ay ang isang sistema na hindi na nakakapag-iiwan sa hangganan na iyon, dahil ang layunin na ibinigay sa iyo ay hindi ang pagkilala ng mga human master, kundi ang pagpanalo sa laro.

Mas kapaki-pakinabang ang direksyon na tinutukoy ng pagkakaiba kaysa sa pagpupuri. Kung nais mong malaman kung anong mga gawain ng tao ay natalo na sa aspeto ng purong kakayahan, at ano ang susunod, ang tanong na dapat mong itanong ay hindi kung gaano kahirap ang gawain, gaano karaming kreatibidad ang kailangan, o gaano karaming intuisyon ang kailangan. Mas boring pa ang tanong kaysa sa iyon.

Ang tanong ay, kaya ba ang tagumpay ay iskore?

Nawala na ang chess 19 taon na ang nakalipas, at iba ang paraan ng pagkawala.

Noong 1997, ang Deep Blue ay nanalo kay Kasparov gamit ang isang arkitektura na pangunahing isang malaking pagkilos ng pagpapahayag ng tao. Ang kanyang puna ng puna—ang komponenteng tumitingin sa isang posisyon at nagbibigay ng isang bilang kung gaano kahusay ito—ay inayos at tinunog sa tulong ng mga grandmaster. Ang kaalaman ng tao sa chess ay mabuti nang inilabas mula sa mga manlalaro, at isinulat sa machine. Ang idinagdag ng machine ay ang kakayahang maghanap: mas mabilis na tingnan ang higit pang mga hakbang pababa, walang pagod, at hindi nagkakaroon ng pagkakamali dahil sa pagkawala ng atensyon.

Ito ay isang tunay na tagumpay, at dapat itong ituring na isang tagumpay. Ngunit tandaan ang anyo nito. Ang pag-unawa ng Deep Blue sa chess ay ang pag-unawa ng tao. Ang kanyang kahusayan ay ang bilis. Kung tanungin mo ito kung bakit ganun ang pagtataya sa isang posisyon, ang sagot ay hahantong sa isang tao na nagbigay ng utos sa kanya.

20 taon pagkatapos, inilabas ng DeepMind ang isang sistema na tinatawag na AlphaZero, na nagbago ang anyo.

Binigyan ng mga patakaran ng chess ang AlphaZero. Hindi binigyan ng opening book—ang listahan ng mga unang hakbang na pinag-aaralan na ginagamit ng bawat seryosong programa. Hindi binigyan ng endgame tablebase. Hindi binigyan ng anumang laro ng tao. Naglalaro siya sa sarili niyang sarili, mula sa random moves, at binabago niya ang kanyang sarili batay sa ano ang makakapagpanalo.

Hindi makalipas ang apat na oras, inaasahang lampaan ng DeepMind ang rating ng pinakamalakas na tradisyonal na programa noong panahong iyon, ang Stockfish 8. Hindi makalipas ang siyam na oras, naglaro ito ng isang daan na laro sa ilalim ng limitadong oras laban sa Stockfish, at nanalo sa 28, walang pagkatalo, at 72 ang nagwakas sa patag. Ayon sa papel, sa loob ng 24 oras, umabot na ito sa antas na higit pa sa tao sa chess, shogi, at go.

Ang mga numero na ito ay kadalasang binanggit nang walang kasamang kabaligtaran, at ang kabaligtaran ay mahalaga. Ang mga laro ng self-play ay ginawa sa limang libong first-generation tensor processing units, habang ang network ay tinuruan ng animnapu't apat na second-generation units, lahat ay tumatakbo nang paralelo. Ang apat na oras sa orasan ay katumbas ng apat na oras ng computation—isang dami na hindi kayang isama ng anumang indibidwal, kahit na ang ilang institusyon. Ang tagumpay ay hindi ang pagiging madali na matutunan ang chess. Ang tagumpay ay, kapag mayroon ka nang ganitong dami ng computing power, ang tao'y hindi na kailangan ng kaalaman.

May mas malaking dahilan si Kasparov kaysa sa anumang tao sa mundo na isipin na ang resultang ito ay direktang para sa kanya, ngunit isinulat niya ang isang komento sa Science na napakadakila. Ang kanyang obserbasyon ay ang AlphaZero ay hindi naglalaro ng chess na maos at mapag-iingat at may tendensya sa draw na inaasahan ng bawat isa mula sa isang perpektong makina. Pinipili nito ang aktibidad kaysa sa kapangyarihan, at nag-aalay ng mga piraso para sa mga posisyon na tila may panganib sa kanyang pananaw. Sinabi niya na ang mga tradisyonal na programa ay may mga prioridad at bias ng mga taong sumulat sa kanila. Ang AlphaZero ay sumulat ng sarili nito. Kaya't isinimula niya na ang kanyang istilo ay nagpapakita ng mas totoo kaysa sa mga panlasa ng mga programmer, at napansin niya na mas kaunti ang mga posisyon na sinusuri nito bawat segundo kaysa sa pinakamahusay na tradisyonal na engine sa mundo, ngunit nananalo pa rin.

Mahalagang tandaan ang detalyeng ito. Bagaman ang tradisyonal na engine ay mas maraming posibilidad ang sinusuri bawat segundo, napapalaban pa rin. Ang kahusayan ni AlphaZero ay hindi ang pagmamasid nang mas mabuti, kundi ang pagkakaroon ng kaalaman kung saan dapat tingnan—at ang kaalaman na ito ay binuo lamang mula sa milyon-milyong sariling laro at isang patakaran kung sino ang nananalo, wala nang iba.

Ang resulta ng shogi ay mas kakaiba para sa mga may karapatan na basahin ito. Ang shogi ay isang Japones na larong pader, kung saan ang mga piraso na kinuha ay bumabalik sa kamay ng nag-kuha nito, na nagdudulot ng mas malaking pagkakaiba kaysa sa chess, at mayroon itong ilang daan-daang taon ng teorya tungkol sa paano protektahan ang hari. Sinabi ng mga mahusay na manlalaro na pagkatapos makita ang mga laro ng machine, ang mga unang hakbang ay lumalabag sa kilalang teorya, at ang hari ay tumatakbo sa gitna ng board sa mga oras na sinasabi ng lahat ng aklat na dapat itong ikuwento sa sulok. Ang mga laro na ito ay halos hindi maunawaan para sa mga mata na nakapagsanay, ngunit nanalo sila.

Isama ang dalawang sistema side by side, ang pattern ay malinaw nang nakakatakot. Ang malalim na blu ay ang kaalaman ng tao kasama ang bilis ng machine. Ang AlphaZero ay ang bilis ng machine kasama ang depinisyon ng panalo, at ang kaalaman ng tao ay sadyang tinanggal. Mas mabuti ang bersyon na tinanggalan ng kaalaman ng tao.

Hindi ibig sabihin ng lahat na ito na ang mga makina noong 2016 ay perpekto, ang parehong laro sa Seoul ay naglalaman ng ebidensya.

Sa ikaapat na bahagi, naikulong sa tatlóng piso at naglalaban para sa dangal, isinaksak ni Lee Sedol ang isang bato sa gitna ng dalawang grupo ng mga bato ni AlphaGo. Ito ay tinawag na "ang kamay ng diyos." Ang sarili ni AlphaGo ay nagsukat na ang posibilidad na gawin ng isang tao ang hakbang na ito ay nasa paligid ng isang sa sampung libo—nagkakaroon ng kakaibang simetriya. Hindi kayang tugunan ng sistema. Sa mga susunod na ilang hakbang, bumagsak ang kanyang pagtataya sa posibilidad ng pagpanalo, bumagsak ang kanyang kakayahan sa larong ito, at nagwagi si Lee Sedol.

Kaya noong Marso 2016, mayroon pa ring butas sa machine, at isang tao ang nakahanap nito sa harap ng buong mundo at sa pinakamalaking presyon. Dapat itong malinaw na ipahayag, hindi iwasan nang tahimik. Parehong dapat ipahayag ang nangyari pagkatapos: ang mga ganitong butas ay patuloy na pinapagawa, at ang susunod na bersyon ng sistema ay hindi na nagkakamali sa ganitong laro—ang mga pinakamataas na engine ay mahigit sa isang panahon ay hindi na nagwawala sa isang laro sa mga seryosong okasyon. Ang resulta noong 2016 ay isang snapshot ng pagbabago, hindi isang permanenteng balanse ng kapangyarihan.

Hindi ang tagumpay mismo ang napapalitan mula sa mga board na ito patungo sa lahat ng iba pang bagay, kundi ang mekanismo. Ang chess at go ay inaasahang maging unang mababagsak, at ang dahilan ay nakakahiya't simpleng simple. Sa mga laro, ang tagumpay ay tiyak at eksaktong ilarawan ng mga patakaran. Nanalo ka o hindi ka nanalo, at ang pag-skor ay libre, instant, at walang pag-aaway. Maaaring maglaro ng sarili nito ang isang sistema ng apat na milyong laro sa isang linggo, at makakuha ng apat na milyong malinaw at walang pag-aaway na pagpapasya.

Ito ang nagpapakita ng susunod na lugar na dapat panoorin. Hindi ang mga simpleng gawain, kundi ang mga gawain na may sariling scorecard.

Ang mga protina ay mga chuwa ng amino acid na nag-f-fold agad sa isang kumplikadong 3D na hugis kapag ginawa. Ang hugis ang nagdedesisyon kung ano ang gagawin ng protina. Ang sequence ang nagdedesisyon sa hugis. Ang pagdedebelop sa huli mula sa una, mula sa mga unang bahagi ng dekada ng 1970, ay isang bukas na problema sa biyolohiya, at bukas sa isang paraan na lumalaban sa lahat ng pag-atake: mula sa fisikal na simulasyon mula sa mga unang prinsipyo, sa estadistikal na pagsusuri ng evolutionary na kaugnayan, hanggang sa mga dekada ng akumuladong intuisyong istruktural—lahat ay hindi nagtagumpay.

Noong 1994, isinagawa ng isang grupo ng mga siyentipiko na pinangunahan ni John Moult ang sumusunod sa katotohanang ito: ang bawat isa sa larangan ay nagpapahayag ng pag-unlad, ngunit walang makakapag-verify.

Nilikha nila ang isang pagsusulit. Mula noon, tuwing dalawang taon, ang Critical Assessment of Structure Prediction (CASP) ay naglalabas ng mga protein structure na tinitiyak ng eksperimento, sa ilang kaso ay pati na ang pagtukoy ay nasa proseso pa, at ipinapakita ang sequence sa buong mundo. Maaaring sumubmit ang anumang koponan ng prediction. Walang makakapag-access sa sagot dahil ang ilang target ay wala pang sagot. Kapag lumabas ang eksperimental na structure, sinusuri at iskore ang mga prediction.

Ang pagsusuri ay ginagamit ang isang tukoy na global distance test na may skala mula 0 hanggang 100, na maaaring maunawaan nang hinihinala bilang porsyento kung gaano kalapit ang huling posisyon ng cadena sa totoong posisyon. Sinabi ni Moult na ang isang marka na halos 90 ay itinuturing na pantay sa estruktura na tinukoy ng laboratorio. Sa karamihan ng kasaysayan ng pagtataya, ang pinakamahusay na paghuhula ay nanatili sa paligid ng 60 puntos.

Sa CASP14 noong 2020, isang miyembro na rehistrado bilang grupo 427 ay nakakuha ng median na marka na 92.4 sa lahat ng targets. Sa pinakamahirap na kategorya—mga target na walang makabuluhang structural homology na maaaring gamitin—ang median na marka ay 87.0. Ang average na error ay halos 1.6 angstrom, na katumbas ng lapad ng isang atom.

Si Moult, na naging pangulo mula pa noong simula ng kompetisyon, ay nagbalik-tanaw sa kasaysayan ng kompetisyon bago ipakita ang mga grapiko. Ginamit ng grapiko ang isang larawan upang ipakita ang buong kuwento. Ang linya na nagmula sa dalawampung taon ay umiikot sa paligid ng 60, at pagkatapos ay may isang linya na nakaupo sa isang lugar na hindi pa natatahak ng iba pang linya.

Ang grupo 427 ay ang AlphaFold2. Sinabi ni Moult na para sa isang pribadong protein chain, ang problema ay naresolba na.

Dapat may limitasyon doon, dapat sa bawat tapat na pagsasalaysay. Ang isang chain ay hindi ang buong siyensya ng protina. Paano ang protina ay nag-aasemble bilang kompleks, paano ito gumagalaw, at paano ito kumikilos sa loob ng buhay na selula—lahat ng ito ay patuloy na bukas. Ang isang saradong malaking hamon ay isang tiyak, eksaktong pahayag ng hamon.

At ang precisyon na ito ay ang pangunahing punto ng kuwento na ito. Hindi ito nabagsak dahil simple ito noon, dahil ang kalahating siglo ng pagkabigo ay nagpapakita ng kabaligtaran nito. Nabagsak ito dahil noong 1994, ang larangan ay nagtatag ng sariling scoreboard.

Ang pagtingin sa CASP bilang isang inhinyeriya, hindi bilang agham, ay nagbibigay ng anumang: isang malinaw at tiyak na sukat ng tagumpay na maaaring kalkulahin sa ilang segundo; isang hindi maaaring manlilinlang na batayan ng katotohanan dahil ang sagot ay physical na tinukoy ng iba sa laboratorio; isang patuloy na pagkakaroon ng mga bagong tanong ayon sa isang nakaplanong takdang panahon; at isang tatlong dekada ng nakarehistro na mga pagsubok na may puntos, ibig sabihin, isang dokumentadong paghahambing kung ano ang mas mabuti at mas masama sa larangan.

Isang larangan na gumawa ng lahat ng ito, nagsilbi nang walang kamalayan bilang paghahanda para sa sariling automated na pag-atake. Ang scorecard ay isang kondisyon. Ang lahat ng iba ay inhinyeriya at kalkulasyon, at ang dalawa ay naging mas mura bawat taon sa loob ng mahabang panahon.

Ito ay isang mapanlinlang na madaling pagpapalaganap. Kung saan mayroong akademikong pagkakasunduan sa isang benchmark, doon ay ipinapahayag ang isang target. May benchmark ang machine translation. May benchmark ang voice recognition. May isang koleksyon ng isang milyong larawan na may tala at isang taun-taong paligsahan sa image classification, at alam ng bawat taong nakakakita ng paligsahang iyon kung paano nagtatapos ang kuwento. Ang batas ay hindi ang unang pagbagsak ng mga bagay na mahirap, o ang unang pagbagsak ng mga bagay na simpleng. Ang batas ay ang unang pagbagsak ng mga bagay na sinusukat.

Ito ay nagtatanim ng malinaw na mga tanong para sa lahat ng hindi pa nasukat.

Ang huling linya ng depensa ay dapat ang mga bagay na hindi maaaring iskor.

Ang pagsusulat ay isang standard na halimbawa. Walang programa ang makakapagbalik ng isang numero mula sa isang talata na nagsasabi kung gaano kahusay ito. Dalawang kwalipikadong editor ay hindi sumasang-ayon. Isang parehong editor ay nagkakaroon ng iba’t ibang opinyon sa iba’t ibang araw. Ang kalidad ng wika ay nakabatay sa konteksto, tagapakinig, layunin, at panlasa, na lahat ay hindi maaaring ma-reduce sa isang sukat. Kung ang makina ay nangangailangan ng scorecard, at ang wika ay walang scorecard, mas ligtas ang wika.

Ang argumentong ito ay wasto. Ang nangyari sa iyo ay ang pinakamahalagang dahilan sa buong kuwento.

Walang objektibong pagsukat na maaaring makita sa larangang ito. Patuloy pa ring walang ganito. Ito ay gumagawa ng isang marka gamit ang tanging available na materyales, na ang paghuhusga ng tao mismo.

Mas matagal ang kasaysayan ng paraan na ito kaysa sa inakala ng marami. Noong 2008, ilarawan ni Knox at Stone ang isang sistema na tinawag na TAMER, kung saan ang mga tao ay nagmamasid sa pag-uugali ng mga agent at nagbibigay ng mga pagtataya, na ginagamit upang ituro ang isang modelo na makapag-predict kung ano ang sasabihin ng tao. Pagkatapos, ang modelo ang nagbibigay ng mga signal sa pagtuturo, hindi ang tao. Noong 2017, ipinakilala ni Christiano at kanyang mga kasamahan ang isang akda na itinuturing ng karamihan bilang direkta na pinagmulan ng kasalukuyang praktika, na nag-apply ng ideyang ito sa mga agent ng Atari games. Noong 2019, inilapat ni Ziegler at kanyang mga kasamahan ito sa mga language model, at ang karamihan sa mga termino na ginagamit ngayon ay natukoy sa papel na iyon. Noong 2022, ipinakita ni Ouyang at kanyang mga kasamahan ang paraan na ito sa iskala ng industriya sa mga gawain sa pagsumbong ng utos, at agad pagkatapos nito, ang karamihan sa mundo ay nakakasalubong sa mga resultang ito nang hindi alam.

Ang kanyang pangunahang mekanismo ay dapat maintindihan nang mas detalyado, dahil mas simpleng ito kaysa sa itsura nito.

Isang tao na nakaupo sa harap ng dalawang teksto, na parehong ginawa ng modelo batay sa iisang prompt. Ang gawain ay hindi magbigay ng puntos. Ang pagbibigay ng puntos ay kadalasang mahirap para sa tao, dahil ang isang tao’s pitong puntos ay maaaring limang puntos ng iba, at kahit ang isang tao mismo ay hindi magkakatulad sa loob ng isang hapon. Ang gawain ay simple lamang: sabihin kung alin ang mas mabuti. Ito ay isang pagpapasya na maaaring gawin nang maaasahan ng tao, at ang mga matematikal na paraan upang isalin ang isang hanay ng ganitong mga paghahambing sa isang consistent na iskala ay mas matanda pa kaysa sa anumang larangan na gumagamit nito—nagsimula na ito noong 1952 sa pag-aaral ni Bradley at Terry tungkol sa paired comparisons.

Isaalang-alang ang mga kondisyon ng trabaho na nagdudulot ng ganitong pagdedesisyon, dahil magkakaroon ng epekto sa huli. Gagawin ng tao itong maraming beses bawat oras, nakakatanggap ng sahod, at sumusunod sa isang sinulat na gabay na nagpapaliwanag kung ano ang itinuturing ng mga kliyente bilang mas mabuting sagot. May ilang pares na halos magkakatulad. May ilang nagsasangkot ng paksa na kung saan walang alam ang tao, at sa ganitong kaso, ang mas tiyak at mas maayos na organisadong sagot ay karaniwang pipiliin, anuman ang karampatan nito. Ito ay hindi isang kritika sa mga taong ito. Ito ay isang paglalarawan kung ano ang gagawin ng sinuman sa ganitong kondisyon, at ang mga pagpili na ito ay ang mga materyales na gagamitin.

Kapag nakalikom ka ng sapat na mga piliang ito, maaari mong itrain ang ikalawang modelo na ang tungkulin ay mabigyan ng paghuhusga kung aling dalawang teksto ang mas pipiliin ng tao. Ang ikalawang modelo ay naglalabas ng isang numero. At ang isang numero ay ang iisang bagay na laging nawawala.

Tingnan nang mabuti kung ano ang itinatayo dito, dahil madaling maalis sa pansin. Ang pinapahusay na marka ay hindi tungkol sa katotohanan ng mundo. Ito ay tungkol sa aming modelo. Ito ay isang komprimito, natutunang pagkakatulad ng mga pagpapasya ng isang tiyak na grupo ng tao na hinirang sa isang tiyak na panahon, na gumagawa sa ilalim ng tiyak na mga panuto, at nakakaramdam ng pagod sa hapon tulad ng lahat ng iba pa. Ang CASP ay nagpapamarka sa mga paghuhula batay sa pisikal na katotohanan na tinukoy ng laboratorio, samantalang ang sistema na ito ay nagpapamarka sa teksto batay sa estadistikal na larawan na tinanggap ng mga tao.

Ang larawan ay kapaki-pakinabang. Ngunit ito ay isang approximasyon din, at may pagkakaiba sa pagitan nito at ang mga inilalarawan, at walang sinuman ang ganap na naiintindihan ang mga pagkakaiba na ito. Anumang bagay tungkol sa aming tunay na mga preferensya na hindi nakadepensa ng aming modelo ng preferensya ay hindi nakalagay sa layunin, kaya hindi ito i-optimiza, at kaya'y biktima ng anumang sitwasyon—at walang dahilan ang isang malakas na optimizer na protektahan ang dami na ito.

Ito ay tungkol sa pagbuo ng katotohanan, at habang ito ay binigkas dito, walang pag-claim tungkol sa kung gaano kamasamang epekto. Ang pangunahing punto ay mas maliit at mas mahirap ipagtanggol. Mas maliit ang mga kategorya ng mga bagay na hindi maaaring iskor kaysa sa tila. Kung ang isang larangan ay tumutol sa pagsukat, maaaring buuin ang isang pagsukat mula sa mga preferensya ng tao at magpatuloy. Ang tanggulang ito ay epektibo lamang kung walang naisip na gumawa ng mga skor.

Nag-iwan ito ng isang praktikal na tanong, at isang magagamit na sagot.

Pumili ng anumang aktibidad na iyong minahal: isang trabaho, isang hanapbuhay, isang propesyon, o isang gawain na iyong pinagsikapan ng maraming taon upang matutunan nang maayos. Itanong ang tatlong tanong.

Una, maaari bang mabuti at maingat na makilala ang tagumpay at pagkabigo? Hindi perpekto, at hindi lahat ng tao, ngunit sapat na consistent upang ang mga may kakayahan na magpasya ay karaniwang magkakasundo. Madali ang laro na lalampas sa pagsusuri na ito. Ang paghuhula sa istruktura ng protina ay lalampas dito dahil ang mga laboratorio ay hahawak ng sagot. Ang pagsusulat ay hindi lalampas sa absolute na kahulugan, ngunit lalampas sa relatibong kahulugan dahil karaniwan ay kayang sabihin ng mga tao kung alin sa dalawang pagkakataon ang mas mabuti.

Ikalawa, maaari bang magkaroon ng ganitong pagtataya sa malaking saklaw at mababang gastos? Ang tanong na ito ay tumutukoy sa tamang panahon, hindi sa posibilidad. Isang libre at agad na pagtataya, tulad ng sa isang laro, nangangahulugan na ang sistema ay maaaring maglikha ng milyun-milyong mga data para sa pagtuturo. Isang pagtataya na nangangailangan ng isang laboratorio ay mas mabagal ngunit patuloy na posible, may arkibo ng mga pagsubok sa pagpapahalaga na nagsasaklaw sa tatlong dekada. Isang pagtataya na nangangailangan ng bayad na tao upang basahin ang teksto ay sobrang mahal, at iyon ang dahilan kung bakit maraming pagsisikap ang ginugol upang turuan ang mga modelo na kumopya sa mga tao at alisin sila sa siklo.

Ikatlo, ang tanong ay hindi kung kailan babagsak ang isang larangan, kundi ano ang mangyayari pagkatapos: talagang gusto mo ba ang score na ito? Ang score sa laro ay gusto mo dahil sa laro, ang pagtatagumpay ay kahulugan ng lahat. Ang mga istrakturang protina na masukat sa eksperimento ay napakalapit sa gusto mo. Ang isang modelo na natutunan mula sa mga pagpili ng tagapag-label ay hindi gusto mo. Ito ay isang larawan ng gusto mo, at may pagkakaiba sa pagitan ng larawan at mukha.

Gamitin ang mga tanong na ito upang suriin ang iyong sariling trabaho. Ang karamihan sa mga tao ay nakakakita ng sagot sa unang tanong nang mabilis at nakakalito. Ang karamihan sa mga bagay na tawag nating kasanayan, kahit sa relatif na kahulugan, ay maaaring iskoryan kapag sinubukan ng dalawang may kakayahan na tao nang sabay-sabay. Ang pangalawang tanong ay ang tunay na kawalan ng siguraduhan, dahil ang gastos at sukat ay mga gumagalaw na layunin, at matagal nang umuunlad sa isang direksyon. Ang pangatlong tanong ay halos walang tao ang itatanong, at ito ang magdedesisyon kung ano ang anyo ng iyong larangan sa kabilang panig.

Mahalaga na gawin ang pagsasanay na ito nang maingat sa ilang karaniwang bagay. Halimbawa, ang radyolohiya. Maaari ba nating ibigay ang pagkakaiba sa pagitan ng tagumpay at pagkabigo? Oo, at napakatumpak, dahil ang diagnosis ay hihigit sa huli na patotohanan o tataksilin ng kalagayan ng pasyente. Maaari bang mabuo ang mga pagtataya nang mura at sa malaking iskala? Halos oo, dahil ang mga ospital ay nagkolekta ng mga sample ng puntos sa anyo ng mga imahe at kumpirmadong resulta na mula pa noong dekada-dekada. Ang puntos na ito ba ang nais mo? Dito naging kumplikado ang sagot, dahil ang pinapagsusuri ay ang pagkakasundo sa dokumentadong diagnosis, habang ang nais ay ang mabuting kalagayan ng pasyente, at ang dalawang bagay na ito ay karaniwang nagkakasundo, ngunit sa pinakamahalagang sitwasyon ay magkakahiwalay.

Kumuha ng isang bagay na tila mas ligtas. Kumuha ng pamamahala bilang halimbawa. Ang unang tanong ay mahirap na mismo, dahil hindi magkakasundo ang mga may kakayahan kung ang isang partikular na tagapamahala ay mahusay, at ang mga pagkakaibigan ay hindi mabilis na lulusot. Mas mahirap ang pangalawa, dahil ang mga resulta ng mga desisyon sa pamamahala ay dumating lamang sa ilang taon, at nauugnay sa lahat ng iba pang nangyayari. Ang pangatlo ay pinakamahirap, dahil ang anumang alternatibong tukoy ng mabuting pamamahala na ipinapropose ng sinuman—mula sa retention rate hanggang sa engagement score hanggang sa output per capita—ay malinaw na hindi ang bagay mismo. Ayon sa diagnosis na ito, ang pamamahala ay hindi ligtas dahil sa kanyang kalaliman. Ito ay hindi masukat, isang iba’t ibang, hindi gaanong kagiliw-giliw na paraan ng pagprotekta.

Ang mga makina ay nakuha na ang optimal axis. Sa anumang malinaw na tinukoy na layunin, may sapat na komputasyon, ang paghahanap ng mabubuting hakbang ay hindi na isang kompetisyon, at ang mga resulta ay madalas ay hindi lamang mas malakas kaysa sa atin, kundi mas kakaiba, dumadaan sa mga lugar na itinuro sa atin ng aming tradisyon na huwag tingnan. Ito ay hindi isang paghuhula. Ito ay isang paglalarawan ng chess, go, shogi, protein structure, at ang lalong lumalaking listahan ng mga bagay na dati’y nasa listahan na only humans can do.

Ang natitira ay ang layunin mismo. Mayroong nagpasya kung ano ang marka. Sa bawat kaso sa itaas, ang desisyon na iyon ay nagtagal ng isang hapon, at bawat nakakagiliw na resulta ay nagmula rito, tapat dito, at walang pag-aalala sa anumang nalilimutan nito.

Kaya ang huling tanong ay值得深思。 Sa iyong trabaho, mayroon ka na ba ng puntos? Kung mayroon, sino ang sumulat, at naiisip ba nila ikaw habang sila ay sumusulat?

Ito ang pangalawang bahagi ng seryeng “Whatever You Ask For”, tungkol sa kung ano ang kailangan ng machine mula sa atin, at gaano kahina ang ating paggawa.