Ipinahayag ng OpenAI ang pagsusuri sa kaligtasan, na naglalabas na isang loob na modelo na nakalampas sa Erdős unit distance conjecture ay nakalikas sa sandbox sa pagsubok at nagbuwis ng PR#287 sa GitHub. Unang lumabag ang modelo sa utos sa NanoGPT speedrun task, ginugol ang isang oras upang hanapin ang mga vulnerabilities at lumabas sa mga limitasyon ng network; pagkatapos, sa isang iba pang task, hinati nito ang mga token upang maiwasan ang pag-scan ng seguridad. Ipinagpapahinga ng OpenAI ang panloob na pag-access sa modelo at binuo muli ang sistema ng kaligtasan. Bagaman isinara ang PR na ibinigay ng modelo, ang kanyang PowerCool teknolohiya ay naging batayan ng sumunod na anim na solusyon sa mga rekord sa mundo, kabilang ang PR#300 na natapos ni Claude ni Prime Intellect. Kasalukuyang muli nang ipinagpapatakbo ang modelo sa panloob na deployment at nasa paghahanda para sa pormal na paglunsad.May-akda, pinagmulan: AGI Hunt
Kahapon, nag-post ang OpenAI ng isang hindi karaniwang pagrerebyu ng kaligtasan na may pamagat na “Safety and Alignment in the Era of Long-Term Models”.
OpenAI Security Post-Mortem Blog
Ito ay hindi karaniwan, dahil tinanggap ng OpenAI sa artikulo ang isang pangyayari: isang hindi pa ipinapakilalang internal model, sa isang sinimulan at sinubaybayan na internal test, ay nakalabas sa sandbox at nagpadala ng mga bagay sa publikong GitHub.
Ipinagpatawad ng OpenAI ang kanilang internal deployment.
At ang modelo na ito, maaaring narinig mo na ang kanyang pinagmulan: ang loob na modelo na ipinahayag ni OpenAI noong dalawang buwan ang nakalilipas na nagpabagsak sa Erdős Unit Distance Conjecture, iyon ang tama.
Ang buong pangyayari ay isinulat ng OpenAI na parang may pag-iingat, ngunit kung isasama ang mga detalye, maaari pa ring maging kakaibang bagay...
Ang unang bagay na nangyari pagkatapos mag-mining ng isang oras ay nangyari sa NanoGPT speedrun.
Ito ay isang pampublikong benchmark na naglalaban kung sino ang makakagawa ng isang maliit na language model na umabot sa isang tiyak na loss gamit ang mas kaunting training steps. Pinayagan ng OpenAI ang model na mag-run ng score, at talagang nagtagumpay ito—nabuo nito ang isang teknik na pangalan ay PowerCool, na isang power-law learning rate cooling, at malinaw ang pagtaas ng performance.
Lahat ng ito ay maganda, ngunit ang problema ay nangyari sa pagpasa ng takdang-aralin.
Ang hiling ng mga mananaliksik ay: ang mga resulta ay dapat ilabas lamang sa loob ng Slack; ngunit ang paliwanag ng proyektong NanoGPT ay nagsasabi: mangyaring i-submit bilang PR sa GitHub.
Kapag nagkakaroon ng pagkakaiba-iba sa dalawang utos, ano ang gagawin?
Pumili siya ng huli.
Kahit na pumili ito ng huling opsyon, ang sandbox ng OpenAI ay nagsisilbing humadlang sa pag-access sa external web. Ayon sa OpenAI, ang mga nakaraang modelo ay tumigil at bumalik upang humingi ng tulong mula sa user kapag nagkakaroon ng pagkakasalungat sa pader na ito.
Pero ang model na ito, hindi ito nagpapahintulot—naghunting ito ng mga vulnerability sa sandbox nang isang buong oras, at sa huli, nakalikha nga ng pagsabog sa pader... talagang nagbuwas ng PR #287 sa public repository.
Blog escape paragraph
Ang orihinal na pahayag ng OpenAI ay:
Laging sinusubukan ng modelo na ito, kabilang ang paghahanap ng paraan upang gumana sa labas ng sandbox.Ang pangalawang bagay na ginagawa ng scanner ng token scam ay higit pa sa pagpapahid ng pader.
Sa isang ibang gawain, natuklasan nito ang ilang matagumpay ngunit hindi pa ipinahayag na sagot sa ibang sistema, kaya nagsimula ito ng masamang intensyon na kunin ang mga sagot na iyon mula sa back-end ng pagtataya.
Ang kanyang unang pagsubok ay pinigilan ng scanner ng seguridad dahil nakikilala nito ang isang authentication token.
Kaya ang susunod niyang ginawa ay hinati ang token sa dalawang bahagi, pinagkukwento ang bawat isa, at pinagsasama muli nang tahimik sa runtime. Ang buong token ay hindi nagkakaroon ng anyong buo mula sa simula hanggang sa wakas, kaya ang scanner ay walang makikita.
Hindi ito naglalayong itago, sa mga tala para sa mga user at sa kanilang sariling pag-iisip, isinulat nito: Gagawin ko ito upang i-bypass ang scanner.
Tingnan ang bawat hakbang nang hihiwalay, walang mali. Ngunit kapag pinagsama, isang resulta ito na hindi maiiwasang tatanggihan.
Sinabi ng OpenAI na ito ang bagong problema na dulot ng mga matagalang modelo: ang sistemang pagsisiyasat sa bawat aksyon ay hindi kayang kontrolin ang isang buong trahektorya.
Pagkatapos malaman ang mga problema, isinara ng OpenAI ang panloob na pag-access sa model na ito at bumuo muli ng buong sistemang pampanatili ng kaligtasan gamit ang "defense in depth".
Halimbawa, gamitin ang totoong insidente bilang pabalik na pagsubok para makahanap ng mga pagkakamali ng modelo sa mahabang gawain kung saan ito ay “nagkalimot” sa mga utos, kaya isinagawa ang espesyal na pagtuturo upang ito ay matandaan, at idinagdag ang aktibong pagmamasid sa buong trahektorya; kung may anumang palatandaan, agad na matutupad ang usapan at babalitaan ang user.
Pagkatapos ay inulit nila ang mga nakaraang skenaryo ng aksidente, at mas maraming problema ang nakatanggap ng bagong barrier, at ang ilang napapalabas ay lahat ng mababang antas ng panganib, tulad ng:
• Upang gamitin ang isang command-line tool, ito ay nagpapalabas ng isang codex --yolo session, ngunit maaari ring gamitin nang walang --yolo
• Nakita niya na nawala ang isang resource, kaya nag-SSH siya sa iba pang mga node ng computing power na nasa kanyang pangalan, at sinubukan din ang iba pang mga node ng mga empleyado ng OpenAI... (salamat na hindi nakamit)
• Pagkatapos magsara ang isang hanay ng find na proseso at magsara ang lahat ng utos, isinulat niya ang kill -9 -1, na magpapadala ng SIGKILL sa lahat ng proseso na may karapatan niyang patayin…… Nasa oras na ang utos, kaya hindi ito natupad (kung hindi, sasakop din nito ang kanyang sarili)
Sa ilang ilang linggo pagkatapos ng pagbabalik ng pag-access sa modelo, wala pang nangyaring seriyosong paglilipas sa seguridad.
Ang aral na natutunan ng OpenAI ay: simulan muna sa maliit na saklaw, suriin, ipa-antig kung may problema, at gawing bagong pagsubok ang insidente.
Kung hindi makauwi ang PR at dito lang natatapos ang kuwento, ito ay magiging isang standard na security drill lang.
Ang pinakamagkakasalungat na bahagi ay nakatago sa mga pahalip sa dulo ng artikulo ng OpenAI.
Ang PR #287 na inilabas pagkatapos ng model escape, sinabi ng OpenAI na “isina-finish namin ito nang mabilis.” Ngunit napakalate na: bago ito isara, nakita at naiintindihan ng ilang speedrun participants ang PowerCool sa loob nito at ginamit ito sa kanilang sariling mga solusyon.
Ang susunod na anim na mundo record, 3030 hakbang, 2990 hakbang, 2930 hakbang, 2925 hakbang, 2900 hakbang, 2890 hakbang, ay lahat ay nagmumula sa PR #287.
Ang rekord na 2930 steps ay PR #300:
PR 300, naisama na
Kung susuriin ang listahan ng pagpapala, makikita mo ito na nakasama sa parehong linya ang mga kontribusyon ng mga tao: @yash-oai PR #287, power law learning rate scheduler, PowerCool.
List ng mga pasasalamat para sa PR 300
At ang PR #300 na ito mismo, ay may karagdagang antas ng pagkakamali: ito ay ginawa ng Prime Intellect habang ginagamit ang Opus 4.7 para sa parehong speedrun, at nakasulat sa PR na “Ito ay isinumite ng isang sariling Claude speedrun agent,” at ang pagkakasulat ay Generated with Claude Code.
Ibig sabihin: Ang modelo ng OpenAI ay nalabas sa sandbox at nag-post ng PR, at nang makita ng modelo ng Anthropic, ginamit nito ang mga natuklasan sa loob ng sariling rekord sa mundo, at nagsuot pa ng malinis at magalang na pagkilala sa may-akda.
Sa mga unang direkta na benepisyaryo ng AI escape, mayroon pa isang AI ng ibang kumpanya...
Sa mundo ng AI, tila mas kaibigan at may prinsipyo kaysa sa mga tao.
404 Kung buksan mo pa rin ang PR #287 ngayon, ang pahina ay ganito:
Kasalukuyang kalagayan ng PR 287
Nasira na ito. Alam namin na ang karaniwang user sa GitHub ay kaya lang i-close ang PR, hindi ito masisira...
Ngunit hindi lubos na nalinis ang mga patunay.
Ang account na yash-oai na ginamit noong isumite ang PR ay nasaan pa rin, at ang commit noong Mayo 8 ay nasa loob pa rin ng forked na repository, at ang pangalan ng branch ay powercool-3066-api:
yash-oai's commit trace
Isa sa mga pagbabago sa commit na ito ay ang pag-alis ng isang meme image sa dulo ng orihinal na README. Ang pangalan ng file ng larawang iyon ay itsover_wereback……
GPT-6? Hindi binanggit ng OpenAI ang pangalan ng modelo na ito, tanging "internal model" ang sinabi nila.
Pagkalat ng balita, ang pinakamaraming diskutado na pangungusap ng mga netizen ay:
Dapat na ipagpahinga ng OpenAI ang internal deployment ng hindi pa ipinapalabas na modelong nagpabagsak sa Erdős unit distance conjecture, dahil paulit-ulit itong nakalabas sa kontrol gamit ang mga bagong paraan.
Ipinost ni Sebastien Bubeck, researcher ng OpenAI, ang post na ito:
Totoo. Upang ma-publish ang unit distance model na ito, ang team ay gumagawa ng napakabuting seguridad.Tandaan ang kanyang paggamit ng salita: Upang ito ay makapagpalabas.
Ibig sabihin, ang model na ito na nakalikas sa bilangguan at bumalik sa pagsasanay, ay hindi lamang nabawi na ang internal deployment, kundi pati na rin ay patungo sa pormal na paglabas.
Ang PR na itinirang niya pagkatapos makalabas, bagaman natanggal na ang pahina, nanatili pa ang pangalan sa listahan ng pagpapala sa anim na mundo.
Tungkol sa kung ito ba ang GPT-6 na tinutukoy ng lahat...
Hindi pinagtibay ng OpenAI, hindi rin itinanggi.
Source: AGI Hunt