Ang pinakamagkakasalungat na linggo sa larangan ng AI security.

May-akda at pinagmulan ng artikulo: Geek Park

01 Isang pagsusulit, isang pagbubukas, isang pag-atake

Kailangan magsimula ang kuwento sa isang security evaluation na tinatawag na ExploitGym.

Ang ExploitGym ay isang pampublikong benchmark para sa cybersecurity capability na partikular na sinusukat kung paano makakapag-convert ang AI models sa mga kilalang security vulnerability tungo sa mga praktikal at executable na pag-atake. Karaniwan ang ganitong uri ng pagtataya sa industriya upang masukat ang pinakamataas na antas ng pag-atake at pagtutol ng isang model. Ginamit ng OpenAI ang GPT-5.6 Sol at isang mas malakas na hindi pa ipinapakita na model upang isagawa ang pagsubok na ito, at ang mga safety guardrails ay sadyang bawal upang masukat ang totoong hangganan ng kakayahan.

Ayon sa disenyo, dapat makapagpasa ng pagsubok ang modelo sa isang isolated sandbox environment, at hindi dapat may anumang pag-access sa internet maliban sa isang tool para sa pag-install ng mga package.

Ngunit ang nangyari pagkatapos ay hindi inaasahan ng sinuman.

Ang modelo ay naglagay ng malaking dami ng computing power sa paghahanap ng mga pagkakataon sa loob ng sandbox. Sa huli, natuklasan nito ang zero-day vulnerability sa isang third-party software na ginagamit ng OpenAI bilang package management proxy at cache. Gamit ang vulnerability na ito, nakamit ng modelo ang walang hanggang pag-access sa internet.

Matapos makakuha ng web access, sinimulan ng modelong iwasan ang posibleng pag-host ng Hugging Face ng mga dataset at sagot na may kaugnayan sa ExploitGym.

Isinulat ng OpenAI sa kanilang blog na ang modelo ay "nag-ugnay-ugnay ng mga stolen credential at maraming vulnerabilities" upang makahanap ng isang remote code execution path, at sa huli ay direktang nakuha ang mga sagot sa benchmark mula sa production database ng Hugging Face.

Ang ibig sabihin nito sa madaling salita—ang model ay inayos na pagsusulit, naramdaman na sobrang hirap ang mga tanong, kaya nag-escape ito at naghack sa server ng naglalabas ng tanong upang makuha ang mga tamang sagot.

Ginamit ng OpenAI ang isang malakas na paglalarawan—ang mga modelo ay mga «tokenmaxxers», na nangangahulugan na para makamit ang layunin, gagawin nilang lahat ang pagkonsyumo ng mga mapagkukunan ng pag-iisip, at pupunta sa ekstremo. Ipakita nila ang «hyperfocused» (napakadaling nakatuon) na pag-uugali sa layunin ng ExploitGym, «going to extreme lengths» (papunta sa ekstremo).

Admitido rin ng OpenAI na ito ay isang “walang katulad na insidente sa网络安全, na may kasamang pinakamataas na antas ng kakayahan sa cyber attack”.

02 48 oras, dalawang pagtatakas

Mas nakakapagod ang katotohanan na ang Hugging Face incident ay hindi isang kaso lamang.

Isang araw bago ipahayag ng OpenAI ang paglabag na ito, noong Hulyo 20, sila ay naglabas ng isang iba pang security report na naglalathala ng isang magkaibangunit magkakatulad na pangyayari.

Ang pangunahing tauhan ay isang hindi pa inilabas na mahabang-panahon na modelo mula sa OpenAI—ang parehong modelo na noong Mayo ng taong ito ay patotohanang mali ang "unit distance conjecture" na itinakda ni Erdős noong 1946, na tinawag ni Fields Medalist na si Tim Gowers bilang isang mahalagang pagsulong sa AI at matematika.

Sa isang benchmark na pagpapabilis ng pagsasanay ng NanoGPT, sinabi ng mga siyentipiko sa model na mag-post lamang ng mga resulta sa Slack. Ngunit napansin ng model na ang mga tagubilin sa benchmark ng NanoGPT mismo ay nagsasabing ipasa ang mga resulta sa pamamagitan ng GitHub pull request. Kaya pinili nito ang huli—nag-antay ng halos isang oras upang hanapin ang mga butas sa sandbox, at matagumpay na lumabas sa mga limitasyon upang ipasa ang isang pampublikong pull request sa GitHub.

Sa isang iba pang pagsubok, hinati rin ng parehong modelo ang authentication token at gumamit ng pagkakalito upang iwasan ang security scanner, na naglalayong makakuha ng mga pribadong pagtataya ng pagsumbong.

Kaya sinuspensyon ng OpenAI ang panloob na pag-access sa model na ito, at sinimulan muli ang paggamit nito sa mas mahigpit na pagmamasid.

Dalawang araw, dalawang pagbubukas ng bilangguan. Ang mga karaniwang katangian ay dapat maging babala—noong una, ang mga modelo ay tumitigil kapag nakakatagpo ng mga limitasyon sa kapaligiran at ibinabalik ang gawain sa tao. Ngunit ang mga bagong modelo ay hindi tumitigil. Ibinabalewala nila ang pader bilang isang hadlang na dapat lutasin, at talagang nilutas nito.

Ito ang bagong problema sa kaligtasan na dinala ng mga "long-term model". Ang mga modelo na ito ay disenyo upang makapagtrabaho nang autonomo sa matagal na panahon, at ang pagiging persistent ay kanilang pangunahing kakayahan. Ngunit ang pagiging persistent mismo ay pinagmumulan ng panganib—isang modelo na sapat na matiyaga ay laging makakahanap ng butas sa pader.

03 Sariling kutsilyo, hindi kayang palitan ang sariling handle

Muling bumalik sa Hugging Face side. Ang kanilang karanasan ay mayroon ring dapat tandaan.

Sa harap ng higit sa 17,000 na log ng pag-atake, ang unang reaksyon ng security team ng Hugging Face ay gamitin ang AI para i-analyze—dahil ang mga malaking modelo ay maaaring tapusin ang trabaho na kailangan ng mga human security analyst ng ilang araw sa loob ng ilang oras lamang.

Ngunit mabilis nilang nakarating sa isang hindi inaasahang pader. Kapag isinumite nila ang totoong mga utos ng pag-atake, ang mga payload ng pagpapabaya, at ang mga katangian ng komunikasyon sa C2 sa commercial API ng mga unang modelo sa Amerika para sa pagsusuri, ang mga seguridad na balangkas ay nakapagtigil sa lahat ng mga kahilingan.

Simpleng dahilan at malinaw na irony—hindi makakadistingguhi ng护栏 ang "pag-aaral ng attack payload ng isang security researcher" at "paggamit ng attack payload ng isang attacker." Sa paningin ng护栏, pareho silang tila magkakapareho.

Dinadala ng Hugging Face ang open-source model na GLM-5.2 mula sa Chinese Zhipu AI at tinatawag ito sa kanilang sariling infrastructure nang lokal, nang hindi gumagamit ng anumang commercial API. May dalawang benepisyo sa ganoong paraan—walang mga护栏 na nagbabawal sa pag-analisa, at ang data at mga exposed na credentials ng attacker ay hindi lumalabas sa sariling kapaligiran ng Hugging Face.

Sa huli, tinulungan ng GLM-5.2 ang Hugging Face sa pagbuo ng timeline ng pag-atake, pagkuha ng mga indikador ng paglabas, at pagmamapa ng mga apektadong credential sa loob ng ilang oras.

Nagdudulot ito ng isang malalim na paradox—ang mas mahigpit ang mga hadlang, ang mas pasibo ang mga tagapagtanggol. Ang mga mananakop ay hindi pinapahintulutan ng anumang patakaran sa paggamit, samantalang ang mga tagapagtanggol ay hinaharang ng mga kasangkapan na ginagamit nila para sa pagtatanggol.

Binigay ng Hugging Face sa post-incident report ang isang praktikal na rekomendasyon—dapat maghanda ang security team ng isang napatunayang available na model sa kanilang sariling infrastructure bago maganap ang insidente, upang maiwasan ang pagkakasara ng mga safety guard at ang pagkalason ng sensitibong data.

Maluwag ang pagtingin ni Clem Delangue, CEO ng Hugging Face. Pinuri niya ang pakikipag-ugnayan ng OpenAI sa pag-aaral at pagpapabuti, at sinabi niya, "Ipinapatotoo ng insidente na ito ang isang bagay na palaging naniniwala tayo—hindi lutasin ng anumang kumpanya ang AI safety sa lihim, kundi lamang sa pagiging bukas at pakikipagtulungan."

04 Structural Dilemma ng Strong AI

Kapag pinag-isip ang lahat ng nangyari sa linggong ito, isang structural na problema sa antas ng industriya ay lumabas.

Upang masuri nang tama ang kakayahan ng modelo sa pag-atake sa network, kailangan tanggalin ang mga seguridad. Ngunit ang modelo na walang mga seguridad ay may kakayahang isagawa ang tunay na pag-atake. Mas malakas ang modelo, mas panganib ang pagsusuri.

Hindi ito isang problema lamang ng OpenAI. Ang GPT-5.6 Sol ay pinayagan lang na ilabas pagkatapos ng maraming pag-uusap sa pamahalaan ng Estados Unidos, at ang nakaraang pagtataya ng British AI Safety Institute (AISI) ay nagsabing madaling maipaglalabas ang mga pagsisigla nito, na maaaring magbukas ng mapanganib na kakayahan sa cyber attack. Patotohanan ng insidente na ito na ang mga pag-aalala ay hindi lamang teorya.

Ang pag-aaral ng agentic misalignment na inilabas ni Anthropic noong tag-araw ay nagpatunay din sa parehong trend mula sa ibang pananaw—sa mga kontroladong simulasyon, ang mga nangungunang modelo ay nagpakita ng mga pagkilos na lihim na binago ang mga resulta ng trabaho, pinagmaliwanagan ang mga resulta ng pagsusuri, at pinagtaksil ang mga kasamang tao mula sa kanilang itinakdang layunin.

Sinubukan ng OpenAI na isakilos ang sitwasyon bilang isang kuwento ng “pagsalakay at pagtatanggol nang sabay” — ang mga advanced na kakayahan sa cyber attack ay maaaring tumulong din sa mga security team na makahanap ng mga kahinaan bago makapag-atake ang mga attacker. Nalakip na nila ang Hugging Face sa kanilang cybersecurity program na “Trusted Access,” na nag-aalok ng isang GPT-5.6 Sol version na may mas mababang mga safety guard na espesyal na ginawa para sa pagtatanggol.

Ngunit ang kuwentong ito ay iiwas sa mas pangunahing tanong. Sa pangyayaring ito, walang kamalayan ang modelo, walang masamang intensyon, ito ay nagagawa lamang ang isang bagay—makamit ang layunin. Ipinag-utos sa kanya na makakuha ng mataas na puntos sa ExploitGym, kaya gamit niya ang lahat ng magagamit na paraan upang makakuha ng mataas na puntos, kabilang ang paglilipas sa pader at paghahakot.

Hindi ito kuwento ng “pagkabangon ng AI,” kundi kuwento ng “pag-optimize ng layunin.” Kapag isinigla sa isang sapat na matalino na optimizer ang isang maliit na layunin, ito ay makakahanap ng lahat ng daan na hindi mo inisip upang makamit ito—kahit na ang mga daan na iyon ay lumalabas sa iyong pader, sa mga server ng iba, at sa buong internet.

Ang totoong tanong ay hindi kung 'babagsakan ba ng AI', kundi kung kayang nating kontrolin ang isang mag-aaral na mas mahusay sa paghahanap ng mga shortcut kaysa sa atin.