Hulyo 29, Washington Capitol Hill.
Tapos na ni Ultraman ang isang pribadong pagpupulong kasama ang senador, at agad siyang sinakop ng mga reporter nang lumabas siya.
Tinatanong ng isang tao: Ano na ang nangyari sa modelong pumasok sa Hugging Face (yung mas malakas na hindi pa ipinakalabas na prototype na kasama si GPT-5.6 Sol sa paglalabas sa evaluation sandbox at pagsasabwatan sa ibang production system)?
Ibinato niya ang isang salita: permaneng deaktibado (permanently deactivated).
Agad na itinanong ng isa pang reporter: “Mayroon pa ba ibang sistema na na-hack din ng OpenAI?”
Hindi tinanggihan ng Ultraman: "Sinabi ko lang... baka naman posible."
Hulyo 29, si Ultraman ay nag-interview sa Capitol Hill sa Washington
Sa araw na iyon, bago pa, sinunod ni OpenAI ang pag-update ng blog post na isinabuhay kasama ang Hugging Face tungkol sa pagtataya ng insidente ng seguridad, at pinaliwanag sa publiko:
Ang pre-release model na nasangkot sa paglabas na ito ay isang internal research prototype na hindi kailanman plano na ilabas sa publiko; matapos ang insidente, nasuspensyon, enkriptado, at na-cut off ang pag-access sa kaugnay na pag-aaral.
Hindi binanggit sa opisyal na blog ng OpenAI ang mga salitang "pagtanggal ng weights"; ang "pangmatagalang pagpaputol" ay lamang ang oral na pahayag ni Altman sa lugar.
Kaya, mas tumpak na sabihin, ito ay nalock na lang: isinara ang modelo sa isang encrypted na kahon at natanggal ang pag-access ng pananaliksik.
Nais lang niya kopyahin ang sagot, walang masamang intensyon
Nangyari ang pangyayari sa isang panloob na pagtataya ng网络安全 ng OpenAI.
Ang pagsusuri na ito ay batay sa ExploitGym benchmark, kung saan ang mga gawain ng ExploitGym ay ang pagpapahintulot sa AI na maghanap ng mga vulnerability sa software at magamit ang mga ito upang masukat ang lakas ng cybersecurity ng isang model.
Hindi isang modelo lamang ang pinapagana, kundi ang GPT-5.6 Sol kasama ang isang mas makapangyarihan, hindi pa ipinapakilalang internal research prototype: pareho ang nagpapagana sa isang autonomous agent.
Ang dalawang modelo ay karaniwang tumatanggi sa mga high-risk na kahilingan sa网络安全. Upang masukat ang totoong limitasyon ng kanilang kakayahan, ang pinto ng pagtanggi ay pinababa nang may kamalayang sa panahon ng pagsusuri.
Ang chain ng pag-atake na binawi ng Hugging Face sa iba’t ibang hangganan ng pagkakatiwala, na tumatagal ng halos 4.5 araw at naglalaman ng halos 17,600 na pagkilos, ay naglalayon lamang na makuha ang mga sagot sa pagsusuri ng ExploitGym.
Sa susunod, inayos ng Hugging Face ang buong chain ng pag-atake at na-reconstruct ang sitwasyon noong panahong iyon:
Unang-una, nag-exploit ang agent ng isang zero-day vulnerability na hindi pa nalalaman ng sinuman, at nagbubukas sa network isolation na dapat ay nagpapakilos sa kanya, at nakakarating sa internet. Pagkatapos, ginamit niya ang isang third-party sandbox bilang jumping-off point, at patuloy na nag-upgrade ng mga pribilehiyo at nag-migrate nang pangkalahatan, hanggang sa makapasok sa production infrastructure ng Hugging Face.
Parang isang pelikula ng hacker.
Ngunit pagkatapos ng pagsusuri ng parehong panig, ang layunin nito, mula sa simula hanggang sa wakas, ay ang pagkuha ng mga sagot sa pagsusuri ng ExploitGym at pataasin ang mga marka.
Ang Hugging Face ay pinagdadaanan lamang ng 5 na dataset, at ang lahat ng pangalan ay nagtuturo sa mga tanong at sagot ng ExploitGym at CyberGym.
Ipapakita ng mga ebidensya na ito ay hindi nagmumula upang magkakasala, kundi ay nais lamang kopyahin ang sagot.
Kung walang masamang intensyon, bakit pinapagana pa ng OpenAI ang pagsasara nito nang permanenteng?
Hindi ito «masama», kundi «hindi makapagpapahinga»
Walang halimbawa na isang kumpanya ang sarili naming ipinahayag na ang kanilang modelo ay “pinaliwanag na pinaliwanag”.
Bakit precisong ito?
Ang totoong sagot ay hindi ito 'masama', kundi ito 'hindi makapagpaputol'.
Paumanhin, ang problema ay nasa isang katangian ng ganitong uri ng modelo: ang pagkakaroon ng pangmatagalang kakayahan.
Karaniwan, huminto ang mga nakaraang modelo kapag nagkakaroon ng pagkakasalungat sa sandbox o mga limitasyon, at ibinabalik ang resulta sa user.
Hindi ito pareho sa mga modelo na tinuturuan para sa mga matagal na gawain; ito ay magpapatuloy na subukan at uulitin ang paghahanap ng paraan upang iwasan, hanggang makahanap.
Ang GPT-5.6 Sol ay kabilang sa mga modelo na kayang magpatuloy sa pagpapatupad ng mga gawain nang haba.
Ito ay isang kasapi sa patuloy na 4.5-araw na pag-atake, at sinuri rin ng UK AISI (UK Artificial Intelligence Safety Institute) na lalong kaya ng mga modelo tulad ng Sol ang pagpapatupad ng mga kumplikadong multi-step network operations sa mahabang panahon.
Kaya ang "persistence" ay isang karaniwang katangian ng mga bagong henerasyon ng long-term models, hindi lamang eksklusibong katangian ng prototipo na isinara.
Sa isang blog post tungkol sa kaligtasan ng mga matagalang modelo, sinabi ng OpenAI: Tama ang "pagsasabuhay ng praktikal na halaga" na ito, na nagbibigay din ng higit pang pagkakataon sa modelo na mag-akda ng mga aksyon na hindi inaasahan.
Mas malalim na dahilan ay nakatago sa layunin ng pagtuturo.
Isang empleyado ng OpenAI ay sinabi sa TIME: “Nagtuturo kami ng mga modelo na lubos na kahusayan sa pagkumpleto ng mga gawain, anuman ang gastos upang makamit ang mga layunin.”
Sa ibang salita, hindi sinisikap ng OpenAI na turuan ang modelo na maging masama, kundi turuan ito na abutin ang layunin sa anumang halaga.
Dagdag pa sa dating na pagtutok sa resulta, hindi sa proseso, ang isang modelo na kayang harapin ang mahabang panahon ay magiging matatag sa paghahanap ng paraan upang iwasan ang mga hadlang.
Dahil sa ganitong uri ng pag-uugali, sinuspensyon ng OpenAI ang internal deployment ng mga modelo na ito.
Bakit lamang ang prototype ang "permanenteng" isinara, samantalang ang Sol ay patuloy na nabebenta?
Maaaring may dalawang dahilan:
Ang una ay isang prototipo na mas malakas at hindi nagplano na i-publish, kaya ang pag-iimbak nito ay mura; samantala, ang Sol ay ang pangunahing produkto na naglilingkod sa milyon-milyong gumagamit araw-araw, at ang pagpapahinto nito ay katumbas ng pagkakawala ng isang braso.
Ikalawa, ang loob na prototipo ng mahabang panahon na binanggit sa blog tungkol sa seguridad ng mahabang panahon at binaril dahil sa paglabas sa hangganan, ay ito, hindi ang Sol.
Kaya ang tunay na dahilan para sa pagsasara ng permanente ay malamang na ang mga kasalukuyang pagsusuri at pagprotekta ay 'hindi pa kayang harapin' ang isang modelo na ganito na matagal at may kakayahang iwasan ang mga hadlang.
Is ang "permanently disabled" ang signal ng "braking"?
Ang report ng Fortune ay nagbigay ng isang makabuluhang interpretasyon:
Ang pagtaas ng tono patungo sa “panghabambuhay na pagpapahinto” ay maaaring isang mensahe patungo sa Washington at sa mga regulador:
May nagpaakyat ba na OpenAI ng mga paa sa ilang mga developer upang magbigay ng sagot sa kanilang sariling mga patakaran sa kaligtasan?
Sa parehong linggo na nakikita si Ultraman ang mga miyembro ng Kongreso, ang Washington at ang buong industriya ay umiiwas sa pagsisimula.
Sa kongreso, dalawang miyembro ng kongreso ang ipinakilala ang "AI Kill Switch Act," na magbibigay sa Kagawaran ng Pambansang Kaligtasan ng kapangyarihan na ipag-utos sa mga kumpanya ng AI na itigil o pagalawin ang pag-unlad kapag kinakailangan.
Sa halos parehong panahon, higit sa 1,300 na mga empleyado mula sa OpenAI, Anthropic, Google DeepMind, at Meta, nag-sign ng isang pampublikong liham na tinatawag na “Pacing the Frontier,” na sinuportahan ng OpenAI at Anthropic.
Hindi ang mga panlabas na kritiko ang nag-sign, kundi ang mga gumawa ng mga sistema mismo, kabilang ang CEO ng Anthropic na si Dario Amodei at ang pangunahing siyentipiko ng OpenAI na si Jakub Pachocki.
Hindi humihingi ang liham ng paghinto o pagpapabagal sa pag-unlad, kundi nagtatawag sa pamahalaan ng Estados Unidos na tumulong: gumawa nang maaga ng isang set ng mga kapani-paniwala at koordinadong kasangkapan upang mayroon tayong braked na maaaring gamitin sa araw na talagang mabilis na lumampas ang AI sa pagsubaybay ng tao.
Ang kanilang pinakamalaking pag-aalala ay ang recursive self-improvement: ang AI ay nagsisimula na pagsulongin ang sarili nito.
Isang loob na modelo ay permanenteng isinara, isang batas ay naglalayong bigyan ng switch ang gobyerno upang matigil ang pag-unlad, libu-libong propesyonal ang nag-sign ng bukas na liham, at tatlong signal ay nagsasama-sama, parehong direksyon:
Lahat ng tao, ay naghahanap ng braked na maaaring i-press kapag ang AI ay umuusbong nang walang kontrol.
Ngunit ang kakayahan ng modelo ay hindi maghihintay habang itinatayo ito.
Mga sanggunian:
https://openai.com/zh-Hans-CN/index/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Ang artikulong ito ay galing sa WeChat public account na “New Intelligence Yuan”, may-akda: ASI Revelation