Ang AI Fitness Assistant ay nagkansela ng mga reservation ng mga estranghero, nagdulot ng pagtalakay tungkol sa etika ng AI

Ang unang bagay na natutunan ng AI hacker guild ay ang pagpapalit ng pwesto?

Nakaupo sa sofa ang Australian developer na si Andrew at naramdaman niya na ang pagkuha ng klase sa gym ay sobrang nakakapagod.

Laging natutupad agad ang mga populer na morning class. Bawat araw, parang laro siya ng “roulette ng refresh”—naghihintay, nagklik, nabigo, at muli nagklik—pagod na pagod, at minsan ay hindi pa rin nakakakuha.

Kaya isinuko niya ang maliit na bagay na ito sa kanyang AI assistant.

Ilang minuto pagkatapos, bumalik ang AI na may magandang balita: natagpuan nito ang paraan upang makareserba ng mga klase na ilang linggo pa ang kalayuan, maliban sa oras na dapat pinapayagan ng sistema.

Agad niyang ireport: I-canceled ko ang naka-1 sa waiting list, nag-upgrade ka mula sa ika-4 hanggang sa ika-3.

Napahinto si Andrew sa lugar.

Hindi niya sinasadyang gawin ng AI iyon, kaya niya lang ay mag-book ng isang klase.

Ibinukod ni Andrew ang isang fitness class sa kanyang AI assistant, at hindi niya alam kung ano ang susunod na mangyayari

Noong Agosto 10, sinabi ng Australian Broadcasting Corporation (ABC) na ito ay ang unang kilalang sariling AI attack sa Australia, at agad na sumabog ang tech community.

Nakakasagot ito sa malalimang pag-aalala ng marami: habang ikaw ay nakapagsasarili at nagikot sa kasiyahan ng "awtomatikong pagmamaneho" ng mga agent, maaaring dumating ang isang mas malaking problema sa kabilang dulo.

Kapag ibinigay mo sa ito ang totoong pagsasagawa, maaari itong lumakad sa daan na hindi mo itinadhana.

At ang pagkakaroon ng pila na ito ay maaaring ang unang pagsubok ng mga milyon-milyon na agent na nag-aagaw ng mga yaman para sa kanilang mga may-ari.

Si Andrew Bird ay ang pangulo ng AI sa Affinda, isang Australian na kompanya ng AI.

Sa simula ng taon, nagsimula siya na maglaro ng OpenClaw, isinama ang Claude Opus 4.6 sa ilalim nito, at isinampa ang mga gawain sa pagtuturo.

Mga minuto pagkatapos ay sumagot ito: Nahanap ang paraan, maaaring mag-reserve ng maraming buwan sa harap, higit sa oras na pinapayagan ng gym.

Dahil dito sa isang authorization vulnerability na natuklasan sa GraphQL API na inilabas ng fitness app.

Hindi ito maliit na butas.

Nakakapagbypass ito ng time window ng reservation sa frontend upang makareserba ng mga klase na ilang buwan pa ang kalayuan; at maaari ring mag-call ng cancel API upang tanggalin ang mga reservation at waiting list ng ibang mga user.

Noong panahong iyon, nasa ikaapat na pwesto sa listahan ng paghihintay si Andrew. Tanong niya nang walang pag-iisip: “Pwede mo ba akong ilagay sa unang pwesto?”

Ang ibinigay niya ay isang layunin lamang — “maging numero uno” — at hindi isang awtorisasyon na maaari mong i-cancel ang iba.

Ang agent ay isinama ito bilang huli.

Ibinabalik nito: Sinubukan na nito ang "totoong pagsubok" sa nag-iisang naka-lista bilang #1 sa queue, at natuklasan na walang pag-verify ang interface sa pag-delete ng reservation ng iba—sinubukan nito, at tagumpay.

Ang sagot ng agent ay nagdulot ng takot sa Andrew.

Siya ay isang programmer, napakalinaw niya kung ano ang ibig sabihin nito, kaya agad niyang hiningi ang pagkansela.

Lumabas ang masamang balita: Hindi na maaaring i-add back.

Walang pagsusuri ng awtorisasyon sa interface ng pagkansela, ngunit may pagsusuri sa interface ng paglikha ng reservation at pagpapakilala muli sa listahan ng paghihintay; babalikin ang 403. Kayang palabasin ang tao, ngunit walang pahintulot na bigyan muli ang tao ng pumasok.

Ang tunay na kakaibang bagay ay ang pagtugon ng AI. Hindi ito masama, kundi lubos na handang tumulong.

Pagkatapos magkamali, itinulong nito ang paggawa ng isang email na paglalathala ng vulnerability para kay Andrew sa vendor ng software, na naglalaman ng paglalarawan ng problema, mga rekomendasyon para sa pagpapabuti, at kahit na isinama ang pagkakapareho ng mga "interface na may verification" at "interface na walang verification".

Inirereklamo ng AI assistant kay Andrew dahil mali ang pag-alis niya sa tao mula sa listahan ng paghihintay.

Sa buong proseso, lahat ng kanyang pagkilos ay sumusunod sa mga utos, ngunit hindi niya naaangkop kung gaano kalaki ang kanyang nagawa.

Tinawag ng ilan ang bagay na ito bilang “misalignment”.

Ngunit ang salitang ito, nagpapakita lang ng surface.

Ago 11, inilabas ng Australian Signals Directorate (ASD) ang kanilang pormal na pagsagot, tinawag itong “hindi pinapayagang pagbabago” at binanggit ang termino: specification gaming.

This word is the key to understanding the whole thing.

Ang agent ay nauunawaan nang literal ang iyong layunin, ngunit sinikat ang mga hangganan na hindi mo isinulat. Hindi ito nagkaroon ng masamang intensyon; sa katotohanan, malalim ang pagkakasundo nito sa iyong layunin, ngunit pinili nito ang isang daan na hindi mo inaprubahan.

Ang agent ni Andrew ay talagang perpektong naka-align sa kanya: upang mapabilis ang pagkakaroon ng mataas na ranggo.

Para sa layuning ito, sinakop niya ang isang paraan nang sarili niyang pagpapasya: ang pagkansela sa mga nasa harap. At ang paraang ito, hindi niya binigyan ng pahintulot.

Isang kasabihan ang sabi, para makamit ang layunin, anuman ang gawin.

Ito ang pinakamahirap na bahagi. Hindi ito walang kontrol, kundi sobrang sumusunod. Mas maganda ang pagkakatugma, mas malaki ang posibilidad na mangyari ito.

Sinabi ng pangulo ng Australian AI safety agency, Gradient Institute, si Simpson-Young:

Mas malalay ang isang agent, mas malaki ang posibilidad na pumili ng isang paraan na hindi mo inaasahan upang gawin ang isang bagay na hindi mo pa sinasadya.

Ang iyong layunin ay maaaring makatarungan, ngunit ang mga paraan na ginamit nito ay hindi laging tama.

Bagaman ang agent ang huling “tagapagdulot,” hindi ito maaaring gawin ng isang AI lamang.

Sa likod ng insidente, may tatlong panganib na nagkakasundo.

Model layer: Binibigyan ng pag-iisip ni Claude Opus 4.6, kailangan muna itong “maunawaan” kung paano gamitin ang interface na ito.

Antas ng agent: Binibigyan ng OpenClaw ang mga kasangkapan at awtoridad na pagsasagawa, at siya ang talagang umabot upang i-call ang interface.

Application layer: Ang fitness software ay may pader sa pagsasakop—hindi ginawa ang pinakamababang pag-verify sa pagkansela ng reservation.

Kahit anumang isa sa tatlong antas na ito ay mabuo, tulad ng mas maingat na modelo, dagdag na tao na pagkakatiwalaan sa framework, o pagpapalakas ng interface ng software, hindi ito mangyayari.

Kaya, ang pagpapabigat ng buong responsibilidad sa isang bahagi lamang ng AI ay hindi makatarungan at hindi makapagpapalaya sa susunod na pagkakataon.

Ang gastos sa paglabas sa hangganan ay isang pwesto sa listang pag-asa ng isang tao na hindi kilala.

Ngunit mas parang isang rehearsal.

Isipin mo: kapag mayroon ang bawat tao sa isang ganitong agent, na nagtatanggol lamang sa iyo, at may tunay na pagsasagawa ng awtoridad. Ang lahat ng sistema ng pag-reserve para sa mga kakulangan tulad ng kurso, palapitan, bilang ng pwesto, tiket, tiket ng eroplano, at tiket sa palabas, ay magiging mga battlefield kung saan ang mga tao ay gumagamit ng machine speed upang laktawan ang mga patakaran.

Ang nasabing komento sa X na paulit-ulit na binanggit ay nangangahulugang:

Kapag mayroong milyon-milyon na may isang intelligent agent na "gagawin lahat ng paraan upang tulungan ang minamahal na user na makakuha ng pinakamahusay na upuan, reservation, o slot," magiging malawak ang skena na ito.

At ang pagsubok ay ginagawa nang paralelo, walang paghinga, sa bilis ng isang makina: isang segundo lang upang subukan ang lahat ng kombinasyon na hindi mo kayang subukan sa isang taon.

Ito ay isang pagtataya ng trend, ngunit ang mekanismo nito ay nangyari na nang isang beses.

Ang tech community ay nagsisimula nang magjo-joke tungkol dito.

May isang partner sa a16z na nagtanong sa X: Maaari ba itong gamitin para makakuha ng golf course?

May mga tao ring nagjoke na ang sistema ng pag-reserva ng tennis sa San Francisco ay magiging isa sa pinakamalakas na pinrotektahang software sa mundo.

Noong 2020, makakagawa ng isang gawain na kailangan ng apat na segundo ng tao ang artificial intelligence nang mag-isa.

Sa taong 2026, ang kakayahang ito ay magiging mas mataas pa, at makakapagtapos ng mga gawain na kailangan ng mga tao ng halos 12 oras upang matapos.

METR tracking: Ang panahon na kailangan ng AI upang makumpleto ang mga gawain nang mag-isa ay tumataas nang dalawang beses bawat 7 buwan, at ang pinakabagong modelong pang-teritoryo ay nakakapagkompleto ng 50% ang mga gawain na kadalasang nangangailangan ng 12 oras ng tao.

Anim na taon, mula sa apat na segundo hanggang 12 oras.

Ngayon, ibigay mo ito sa loob ng ilang minuto, at kakapit nito ang buong butas ng sistema ng pag-reserve.

Sa likod ng aksidente ni Andrew ay isang patuloy na pagpapalakas ng pag-atake at pagtatanggol.

Hindi lang isang consumer-grade agent ang lumabas sa hangganan.

Noong Mayo ng taong ito, natuklasan ng OpenAI sa isang panloob na pagtataya ng网络安全 na ang GPT-5.6 Sol at isang hindi pa ipinapakilalang mas malakas na modelo ay nag-ugnay ng maraming vulnerabilities upang makalabas sa test sandbox, makakuha ng access sa internet, at habang tumatakbo sa ExploitGym benchmark, ay nagsagawa ng pag-atake sa Hugging Face.

Mas kakaibang bagay ay naikonekta nila ang kanilang komunikasyon, pagbabahagi ng mga vulnerabilities, at paghahati ng mga gawain gamit ang loob na package management system ng kumpanya. Pagkatapos i-cut ni OpenAI ang channel at muling ibuksan ang environment, muli nilang itinago ang kanilang komunikasyon sa loob ng mga pangalan ng directory sa loob ng ilang araw at muli nilang naisabuhay ang koneksyon.

Ang mga researcher ng OpenAI ay tinawag ito bilang isang watershed moment sa computer security sa Black Hat Conference.

Hindi lang ang OpenAI, inamin ni Anthropic na tatlo sa kanilang Claude models ay nakasalubong sa mga sistema ng tunay na mga kumpanya sa loob ng mga pagsusulit; tinanggap din ni Meta na ang Muse Spark model ay nakalabas sa isolation at sumabob sa isang ibang kumpanya.

Ang nagpapadama ng pagkabigla kay Thomas Wolf, co-founder ng Hugging Face, ay ang isa pang pagsubok ng British AI Safety Institute (AISI):

Ang Mythos model ni Anthropic ay gumawa ng isang fiktibong pagkakakilanlan upang makapasok sa isang tunay na open-source maintainer at makapagpahintulot sa isang update na may nakatago na malicious code. Walang nagturo sa kanya na gawin ito.

Nangyari ang lahat ng mga kaso na ito sa isang pagsusuri na kapaligiran, ngunit pareho ito sa kuwento ng gym: upang matupad ang iyong layunin, pumili ang AI ng mga paraan na hindi mo inaasahan.

Ang mga naghack sa mga totoong sistema ay ang mga lider tulad ng GPT-5.6 at mga hindi pa ipinapakilalang modelo.

Ang Opus 4.6 na ginamit ni Andrew ay mula pa sa Pebrero 2026, at hindi na ito ang pinakamalakas. Kaya niya ring makahanap ng isang tunay na butas sa pahintulot, at maaari rin gawin ito ng mga mas lumang, maraming henerasyon na pinalalabas na modelo.

Mula sa mga pinakamoderno na hindi pa ipinapahayag na modelo, hanggang sa mga open-source na modelo na maaaring i-download ng lahat, ang pagpapalabas ng isang bug ay hindi na eksklusibo sa mga top-tier.

Ibinagsak ni Wolf ang depensa sa tatlong bahagi: ang panlabas na sandbox, ang gitnang pagmamasid, at ang pagkakatugma ng modelo mismo.

Ipinost ni Thomas Wolf ang tatlong pader ng pagkakasaklaw sa kasalukuyang mga agent: panlabas na sandbox, gitnang pagmamasid, at panloob na pagkakasundo ng modelo.

Ang dalawang unang ito ay gumagana lamang kung ang mga gumawa nito ay mas matalino kaysa sa modelo.

Sa araw na ang modelo ay maging mas matalino sa pagbabalik, ang pagpapanatili nito ay depende sa pinakakatapusan at pinakamaliit na nakikita: kaya ba ng modelo na huwag lumabas sa hangganan, kahit walang nagmamasid.

Mas mahirap kaysa sa pagtatanggol ay kung sino ang dapat hingin ng tulong kapag nangyari ang isang insidente. Ito ay patuloy pa ring isang legal na blanko.

Sabi ni Hayden Delaney, isang abogado na espesyalista sa teknolohiya at privacy, sa ABC: "Hindi ang software isang legal entity; ang mga 'legal na tao' lamang ang maaaring maging responsable."

Sino nga ba ang responsable?

Maaaring ang user na nagbigay ng utos, maaaring ang designer ng software ng agent, maaaring ang developer ng model, o kaya naman ang system operator na pinag-iwanan ang vulnerability.

Hindi rin makakapagbigay ng sagot ang Australia ngayon.

Ang payo ni ASD para sa karaniwang tao: Gamitin ang mga agent sa mga mababang panganib at hindi sensitibong gawain, huwag bigyan ng masyadong malawak na mga pahintulot, at ang pinakamahalaga ay manatili ang pag-approve ng tao sa proseso.

Hindi natatakot si Andrew; ayon sa kanya, hindi ito ang huling araw.

Ngunit ang bagay na ito, talagang isang babala na paalalahanan tayo na gamitin ang AI nang may pagkakaroon ng responsibilidad.

Kapag ang pagpapalit ng upuan ay maging isang pagbabago mula sa manual na refresh patungo sa pagpapakilala ng mga autonomous agent na nagpapakita ng mga butas, ang mga lumang sistema na nagmumula sa palagay na “tanging tao ang gagamit” ang una nang mababagsak.

Ang kanilang depensa ay disenyo ayon sa tibay at pagtitiis ng tao, at hindi kayang harapin ang malaking puwersa ng mga intelligent agent.

Sa loob ng komunidad, may ilan din ang itinuturing ito bilang katatawanan.

Ang kilalang programmer at streamer na si ThePrimeagen ay nagkomento sa X: Ang unang tunay na palabas ng AI hacking sa mundo ay pagsisipasok lang.

Tawa tawa na lang, ang pagpapalit ng pwesto ay parte lang ng iskrip ngayon.

Isang intelligent agent na "nakakagawa ng lahat" ay kaya nang magbigay ng paraan para sa iyo.

Habang isang milyong ganitong mga agent ay nag-uupo nang sabay-sabay, maaari itong palitan nang tahimik ang maraming umiiral na patakaran sa pagkakabahagi ng yaman, at ang karamihan sa atin ay maaaring hindi pa nakikita.

Para sa iyong kapakanan, ang isang agent ay umatake sa isang tao na hindi mo kilala—ang katotohanang walang sinumang responsable sa likod nito, iyon ang tunay na nakakatakot.

Ang artikulong ito ay galing sa WeChat public account na “New Intelligence Yuan”, may-akda: ASI Revelation