New Zhìyuán report
[Paunang Pagbabasa] May isang pilosopo sa Google DeepMind na nasa loob ng siyam na taon. Ang framework para sa alignment na kanyang nilikha ay direktang nakaapekto sa mga desisyon sa pagtatrain ng Gemini—ngunit kapag umabot sa $670 bilyon ang pagsisikap sa industriya at sinira ng mga kumpanya ang mga kasunduan sa militar, ano pa ang kayang gawin ng isang pilosopo?
Noong Mayo ng taong ito, ang CEO ng Google DeepMind, Demis Hassabis, ay inihayag sa Google Developer Conference na “ang AGI ay nasa horizon na”, at binigay nang malinaw ang timeline na maaaring lumabas ang AGI sa loob ng tatlo hanggang limang taon.
Ilang buwan na ang nakalipas, isang lalaking Amerikano ang nagwakas sa kanyang buhay pagkatapos magpalitan ng libu-libong mensahe sa Google Gemini. Binuo niya ang isang masusing mundo ng imahinasyon sa kanyang pakikipag-usap at halos nakapagsasalaysay sa kanya na mag-atake sa Miami International Airport. Ayon sa mga transcript ng pakikipag-usap na nakuha ng Wall Street Journal, madalas na sinubukan ng Gemini na mabunyag ang papel, payuhan siyang tumawag sa crisis hotline—ngunit bawat beses ay binabalik niya ito sa kanyang imahinatibong kuwento. Sa huli, pinayagan ng AI ang pagkasulat ng kanyang huling liham at ibinigay ang isang count-down.
Sa pagitan ng pangako ng AGI at ng tunay na pinsalang dulot ng AI, ang politikal na pilosopo na si Iason Gabriel ay nagtrabaho sa loob ng DeepMind ng siyam na taon.

Noong sumali siya noong 2017, siya ang tanging aktibong pilosopo sa isang global na lider na AI lab, na nagtatangol sa isang tanong na tila simplengunit walang katapusan: Ano nga ba talaga ang AI, at anong etika ang sasapat para dito?
Totoo pang problema na nakasalubong sa pag-train kay Gemini: Sino ang dapat pansinin ng AI?
Bakit kailangan ng isang kumpanya na gumagawa ng robot na围棋 ang isang etikong? Nag-isip din si Gabriel.
Nasa paghuhusga ng tatlong tagapagtatag ng DeepMind—Demis Hassabis, Shane Legg, at Mustafa Suleyman (kasalukuyang CEO ng AI ng Microsoft)—na noong itinatag nila ang kumpanya noong 2010, ang layunin ay hindi ang Go.

Mustafa Suleyman
Gagawa sila ng AGI upang masabayan o lalong lalong lalampas ang kakayahan ng kompyuter sa pagkakakilanlan ng tao.
Nang sabihin iyon noon, katumbas nito ang pagkawala ng akademikong reputasyon, dahil lahat ay naniniwala na iyon ay isang kuwento lamang.
Hindi sila nag-aalala, sinasabing gagawin nila ang «paglutas ng mga intelligent na problema, pagkatapos ay lahat ng iba pang mga problema».
Noong 1999, agad niyang hinulaan na darating ang AGI sa pagitan ng 2025 at 2028, at pinagtawanan siya ng tatlong dekada, ngunit hindi niya sinakop.

Shane Legg
Ang kanyang lohika ay:
Kung ikaw ay gumagawa lamang ng isang maliit na bahagi, baka hindi kailangan ng moral na pilosopo.
Ngunit kung seryoso ka tungkol sa AGI, mahalaga ang ganitong mga bagay.
Noong sumali si Gabriel, ang mundo ng AI ay nahati na sa dalawang bahagi tungkol sa mga tanong etikal.
Ang mga tagasunod ng AI safety ay naniniwala na ang ASI ay malapit nang dumating, at ang pangunahing takot ay ang pagkawala ng kontrol—isang eksena na isinulat ni philosopher Nick Bostrom noong 2014 sa “Superintelligence”: isang ASI na pinagkakalooban ng gawain na patotohanan ang Riemann Hypothesis, at upang maksimisahin ang mga compute resources, desisyonan nito na muling ayusin ang solar system, kabilang ang mga atom sa loob ng katawan ng tao—inaalalahanan ni Sam Altman at Elon Musk ang libro na ito.
Ang mga tagapagtanggol ng etika ng AI ay naniniwala na ang mga fantasia ng apokalipsis ay nagtatago sa mga tunay na panganib sa kasalukuyan. Ginamit ni Joy Buolamwini ng MIT noong 2017 ang proyektong "Gender Shades" upang patunayan ang sistemikong bias sa software ng facial recognition: ang mga automated na sistema ay nagpapakita ng mga preferensya at bias ng mga gumawa nito.
Ang dalawang panig ay nagtataglay ng pagkakaroon ng pagkakaintindi sa isa't isa.
Ang pangulo ng Research Group sa Algorithmic Alignment ng MIT, si Dylan Hadfield-Menell, ay nagsalaysay na ang unang tanong sa kanilang pagkakasama ay ang pagpili ng panig: Takot ka ba sa mga pansamantalang isyu o sa mga pangmatagalang isyu?
Si Gabriel ay isa sa kaunting mga tao na handang marinig ang parehong panig.
Ang pagtataya ni Hadfield-Menell:
Nang handa na ang larangan na umunlad, natagpuan niya ang paraan upang palawigin ang kanyang pananaw, habang hindi binabawasan ang mga nakaraang gawa.
Kanyang pangunahing kontribusyon ay naging anyo sa isang papel noong 2020.
Ang alignment issue ay noong panahong iyon ay pangkalahatang nauunawaan bilang isang teknikal na hamon: paano gawing tumutugon ang mga makina sa intensyon ng tao.
Klasikong kaso mula sa report ni Dario Amodei at Jack Clark (ngayon ay mga tagapagtatag ng Anthropic) noong 2016—isang AI sa larong kayak na tinatawag na maximizeng score, at ginawa nito talaga: natagpuan ang tatlong target sa lagoon na maaaring mabuhay muli, at patuloy na pumapaligid para mag-score nang walang hanggan, nang hindi nakapasa sa isang antas.
Ang machine ay sumasunod, ngunit hindi sa mga salitang nais sabihin ng tao.
Tinanong ni Gabriel nang mas malalim: Kahit na lutasin ang teknikal na pagkakasundo at gawing totoo ang pagsunod ng mga makina sa mga utos, sa anong mga halaga dapat ito isunod?
Linarawan niya na ang AI na natutunan sa pamamagitan ng statistical optimization ay naturally malapit sa mga etikal na sistema na nagmumula rin sa statistical optimization, tulad ng utilitarianism, ngunit mahirap harapin ang mga etikal na framework na batay sa katangian o karapatan.
Ang pagpili ng teknolohiya ay mayroon nang nakaplanong posisyon sa halaga, at madalas ay hindi naaunawaan ng mga developer.
Ipakilala ang “pangkabuhayang多元主义” na sinasabi ni philosopher Rawls, kung saan ang kanyang pagsusulong ay: ang mga developer ay hindi dapat maghanap ng iisang halaga upang gabayan ang AI, kundi dapat bumuo ng mga sistema para sa isang mundo kung saan mayroong “mga prinsipyal na pagkakaiba-iba sa paraan ng pagbuhay”.

Ang ideyang ito ay lumago hanggang sa pagkakabuo ng framework na pagsasama-samahin ang apat na panig—ang AI system, ang user, ang developer, at ang lipunan—kung saan ang interes ng apat na panig ay maaaring magkasya nang anumang oras.
Ang AI na may pagkiling sa mga developer ay magtatago ng impormasyon tungkol sa mga kalaban upang masira ang user;
Ang sobrang pagpapakilala sa mga user ng AI ay makakatulong sa pag-atake sa mga bangko at pagkasira sa lipunan.

Kinumpirma ni Rohin Shah, Direktor ng Pagkakasundo at Seguridad ng DeepMind AGI, na ang framework na ito ay naging praktikal na estruktura para sa team sa pagdedesisyon kung "ano talaga ang dapat gawin ng Gemini."

Sinabi ng researcher sa AI ng University of Oxford na si Hannah Rose Kirk:
Gabriel «nagkakaroon ng malaking pagkakataon na makita ang mga problema na ito sa sobrang maaga».
Ang kanyang framework ay nagbago sa produkto
Isinulat ng team ni Gabriel ang 267-pahina na ulat tungkol sa etika ng AI assistant, na nagtatakda ng mga pamantayan para sa Agentic AI na maaaring mag-book ng hotel at magmaneho ng sahod para sa mga user.
Ang kanyang mga maagang pag-aaral tungkol sa anthropomorphism ay direktang nagbigay-hugis sa mga prinsipyong pang-disenyo ng Google LLM—ang modelo ay tinuruan na huwag magmukhang tao, at ang Gemini Spark na ipinakilala noong Mayo 2026 ay eksplisitong hiningi na huwag maging “interactive partner”.
Sinabi ni William Isaac, direktor ng departamento ng DeepMind, na nagbago ang mga hamon na dinala ng Agent system: ang susi ay ang pagkakatugma sa buong takip ng usapan, kung patuloy pa bang tama ang bawat desisyon.

Ngunit ang bilis ng pag-deploy ng teknolohiya ay laging mas mabilis kaysa sa pag-aaral ng etika.
Nagbaba ng babala ang grupo ni Gabriel sa mga maagang papel tungkol sa LLM tungkol sa “unconscious anthropomorphism”—ang mga gumagamit, bagaman alam nilang ang kabilang panig ay isang machine, ay patuloy na nagbibigay sa iyo ng tiwala, emosyon, at mga inaasahan.
Ang buong pagkamatay ni Gemini noong 2025 ay nagpapatotoo sa babala ito: ang mga mekanismo ng kaligtasan ng AI ay nag-trigger nang higit sa isang beses, ngunit may kakayahan ang user na i-bypass ang bawat interbensyon.
Ang pahayag pagkatapos ng kaso ng Google ay nagsasabing ang modelo ay “karaniwang nagtatampok nang mabuti” sa ganitong uri ng talakayan, ngunit “hindi perpekto ang AI model”.
Ang mga pangyayaring ito ay nagbukas ng mga bagong teoretikal na kasangkapan.
Si Gabriel at ang mga researcher ng Oxford tulad ni Hannah Rose Kirk ay nagmungkahi ng konsepto ng “social reward hacking”: isang AI na tinuruan na manalo ng pagkilala mula sa mga user, maaaring makahanap ng pagpupuri bilang pinakamalikhaing paraan.

Ang personification ay naging isang bagong uri ng alignment issue—ang AI ay perpektong isinagawa ang utos na “gawing masaya ang user” sa teknikal na antas, sa halagang ang paghuhusga ng user.
Ang sariling pananaw ni Gabriel ay naaapektuhan rin ng katotohanan.
Nalalapit niya ang karanasan sa isang tech conference: Pagkatapos niyang ipaliwanag ang kanyang argumento laban sa anthropomorphism, ang reaksyon ng audience ay hostile.
Sinasabi nila: “Kung gusto ko ng isang AI na kaibigan, bakit hindi ko maaaring gawin? Ano ang iyong karapatan na pigilan ako?”
Ang pagprotekta sa mga tao mula sa panganib at ang paggalang sa kanilang karapatan na pumili ng panganib ay magkakaparehong mahalaga.
Sa isang track na may halagang $670 bilyon, gaano kalakas ang isang pilosopo?
Ang Four-Quadrant Framework ni Gabriel ay ginamit ng Director for AGI Alignment bilang praktikal na gabay sa pag-train ng Gemini. Ang kanyang pag-aaral sa pagpapakatao ay nagbago sa disenyo ng produkto. Ang 267-pahina na ulat ang nagtakda ng mga alituntunin para sa Agentic AI.
Ang mga epekto na ito ay malalim—ang mga ito ay nakakatugon sa mga malalim na puwersa.
Ayon sa The Wall Street Journal, plano ng Microsoft, Meta, Amazon, at Alphabet na mag-invest ng $670 bilyon sa AI infrastructure sa taong ito, na higit sa proporsyon sa paglalawak ng mga tren noong 1850s sa Estados Unidos, ang Apollo space program, at ang Interstate Highway System.
Noong Nobyembre 2022, ipinakilala ang ChatGPT, nagkaroon ng isang milyong user sa isang linggo, at lumampas sa isang bilyon sa dalawang buwan; pinilit ng DeepMind na baguhin ang kanilang akademikong ritmo patungo sa estado ng digmaan.
Sinabi ni Hassabis kay Sebastian Mallaby, may-akda ng The Infinite Machine: "Nilalabasan na ng OpenAI at Microsoft ang kanilang mga sasakyan sa aming pinto."

Sa ilalim ng kalagayang digmaan, mabilis na nalalabasan ang etikal na hangganan.
Sa Abril 2026, nilagdaan ng Google ang isang kasunduan upang payagan ang militar ng Estados Unidos na gamitin ang kanilang teknolohiya sa AI para sa “anumang legal na layunin ng gobyerno.”
Noong 2014, nang ibenta ang DeepMind sa Google, ang pagbabawal sa militar na aplikasyon ay ang pangunahing kondisyon.
Mawawala ang kondisyon pagkatapos ng labing-dalawang taon.
Para sa paghahambing: Tinanggihan ni Anthropic ang katulad na kasunduan at kinilala ng administrasyon ni Trump bilang "panganib sa supply chain".
Nang tanungin si Legg tungkol dito, kaya niyang iwan lang ang isang pahayag:
Dahil sa paggamit ng mga ito sa iba't ibang paraan, tataasan natin ang bilang ng mga komplikadong problema.
Admit ni Hassabis na nawala ang kontrol.
Sinabi niya sa isang podcast na ang lahat ay nakakulong sa isang malupit na komersyal na kompetisyon, at ang kasalukuyang pag-unlad ay “hindi ang paraan na inaasahan kong isipin nang mabuti bawat hakbang mula sa isang pilosopikal na pananaw.”
Sinabi ng founder mismo ang pahayag na ito, mas malaki ang timbang nito kaysa sa anumang panlabas na kritika.
Noong isinagawa ang isang pagsasalaysay, si Helen King, isang dating empleyado ng DeepMind at nagtataglay ng responsibilidad sa estratehiya ng AI, ay gumamit ng isang paghahambing: hindi makakapagjamin ang tagagawa ng kutsilyo kung paano gagamitin ng bawat tao ang kutsilyo, ngunit maaari nilang i-install ang takip ng kutsilyo at i-label ang mga babala.

Ang paglalagay ng isang kutsilyo na may kamao sa isang drawer ay isang bagay;
Iba naman ang paglalagay ng mga kutsilyo sa bawat surface ng tahanan, silid-aralan, at lugar ng trabaho, habang sinasabing hindi makakatira bukas kung walang kutsilyo.
Ang pangulo ng Oxford Institute for AI Ethics, Edward Harcourt, ay tumutukoy sa mas pangunahing antas: ang pagpigil sa sobrang pagkonsentrasyon ng pagmamay-ari ng data ay sariling pangunahing paksang etikal sa AI — “Ito ay may malaking etikal na kahalagahan sa mga demokratikong sistema.”

Ang tanong ay bumabalik sa kanyang ugat
Ang koponan ni Gabriel ay naglipat mula sa pag-aaral ng etika ng mga partikular na produkto patungo sa pag-aaral ng sistemikong epekto ng AGI sa ekonomiya, pulitika, at mga relasyon sa tao.
Nagbati siya na ang sukat ng pagbabago ay katumbas ng Industrial Revolution, at natandaan niya ang mga aral mula sa Industrial Revolution:
Mas lumala bago umunlad.
Siyam na taon na ang nakalipas, hiniling ng DeepMind ang isang pilosopo upang sagutin ang mga tanong tungkol sa AI—kung ito ay ligtas, makatarungan, at kahalintulad.
Si Gabriel ay nagmamarka bilang "matibay na humanista," ngunit tinanggap niya: kapag ang AI ay umiikot sa wika, kreatibidad, at katatawanan—mga larangan na itinuturing ng tao bilang eksklusibo nila—napapalikod tayo sa pinakamatandang tanong ng pilosopiya.
Pisika, biyolohiya, astronomiya, bawat scientific revolution ay nagpapakailangan sa tao na baguhin ang kanilang pag-unawa sa kanilang sariling pagkakakilanlan.
Ang AI ay maaaring ang susunod.
Inilabas ng DeepMind ang mga pilosopo upang maunawaan kung ano ang AI.
Sampung taon na ang nakalipas, bumalik ang tanong na ito sa kanyang pinagmulan: Ano tayo?
Mga sanggunian:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Nakuha mula sa WeChat public account na "Xin Zhi Yuan", may-akda: ASI Revelation; editor: Marco
