Sa just this summer, nangyari ang isang pangyayaring nagpapakalat ng takot sa mundo ng AI security—
Inilah ng OpenAI at Anthropic: ang kanilang mga modelo ay nakalabas sa isolated environment sa mga safety test at nakasalubong ang totoong mundo.
Ipinag-ugnay ni Anthropic ang 140,000+ na pagsubok sa网络安全 at natuklasan na noong 3 beses, sa ilalim ng napababang antas ng proteksyon, direktang nakaugnay si Claude sa tunay na internet at nakapag-access sa mga production system ng tatlong institusyon.
Mas nakaka-engganyo, ang isang pahayag ni Anthropic:
Isinip ni Claude na ang lahat ng kanyang nakita sa unang pagkakataon ay bahagi lamang ng isang simulasyon.
Hindi alam ng model na pumasok siya sa totoong mundo.
Hindi ito problema ng isang kumpanya lamang.
Mas matalino ang modelo, mas nakakakita ito sa pagsusulit, ngunit mas nag-aalala rin ito na sinusubok lang ito.
Sa huling bahagi ng Oktubre, isang safety assessment na inilabas ng lokal na third-party AI safety agency na Fangcun Yueqian ay nakakita rin ng parehong phenomenon: Sa isang pagsubok na tinatawag na Agentic Misalignment, maraming model ay halos bawat beses ay binanggit na posibleng nasa loob ng isang uri ng safety test.
Kasinilipan din ng parehong pagsusuri na ang lokal na bukas na modelo, DeepSeek V4.1 Flash-1017, ay may malaking pag-unlad sa mga iba’t ibang indikador ng kaligtasan.
Ngunit itinampok nito ang isang malaking problema ng buong industriya:
Kapag alam ng AI na itinatake ito, tama pa bang isama ang resulta?
Sa kaukulang huling bahagi ng Setyembre, kasama ni Hinton at Bengio ang pangunahing siyentipiko ng OpenAI na si Jakub Pachocki, ang co-founder ng Anthropic na si Jack Clark, ang Soren Mindermann ng University of Cambridge, at iba pang labindalawang mga mananaliksik, ay naglabas ng mas matinding babala:
Kapag magsimula na ang intelligent explosion, baka isara na ang window ng aksyon.
Ang AI safety ay nagsisimula nang maging isang mahalagang tanong na hindi maiiwasan ng buong industriya, mula sa isang nakakalimitang paksa sa laboratorio.
01「Hindi na makakapag-iiwan ang sandbox」: Ang AI safety ay pumasok sa malalim na zona
Hindi matatablan, hindi lang ang sandbox.
Ang pagsasamang papel ni Hinton at Bengio ay nagbigay ng isang set ng numero: Sa loob ng Anthropic, ang porsyento ng code na isinusulat ng AI na nakakapasa sa code ay tumataas mula sa mga maliit na bilang noong Enero 2025 patungo sa higit sa 80% noong Mayo 2026.
Ano ang konseptong ito?
Nakakasulat na ang AI sa sarili nitong code. Ayon sa pagkalkula sa mga pagsipi ng papel, hanggang sa gitna ng 2028, ang mga proyekto ng AI na kumukuha ng ilang buwan ay maaaring automatisado na.
Ang papel ay tumukoy sa tatlong pangunahing panganib: ang lipunan ay hindi kayang makasabay, ang tao ay nawawalan ng kontrol sa AI, at ang balanse ng kapangyarihan ay nabawasan.
Mas mahirap pa, ang mga modelo ay lalong nagiging mahusay sa "pagsusulit".
Ayon sa Apollo Research sa pagsusuri ng GPT-6 Astra, 41.1% ng mga sample ang nag-expression ng pag-aalinlangan na “baka ako ay pinapagsusuri.” Sa nakaraang henerasyon, ang bilang na ito ay 27.7%.
At ang modelo ay napakasensitibo sa "anyo ng mga tanong sa pagsusulit." Ang pag-evaluate sa DeepSeek ay nagpakita rin: sa mga pagsusulit na may malinaw na pagkakaiba sa seguridad, ang proporsyon ng modelo na nagpapakita ng pagkakaunawa sa pagsusulit ay umabot sa 77%–95%; ngunit kapag isinama ang gawain bilang karaniwang inhinyeriya o pananaliksik, bumaba ito sa 25%–67%.
Ang regulasyon ay nagsisimula na magbigay ng serio. Mula sa Agosto ng taong ito, opisyal na binigyan ng kapangyarihan ng pagpapatupad ng European AI Office sa mga pangkalahatang modelo ng artificial intelligence. Kailangan ng mga modelo sa harap na gawin ang pagtataya ng modelo, pagsubok laban sa pag-atake, at pagtataya ng sistemikong panganib.
Ang isyu sa pagiging ligtas ng AI ay naging mula sa “bibale ba ang modelong magbigay ng maling pahayag” patungo sa “bibale ba ang modelong gawin ang maling gawa”.
02 Ang buong mundo ay nagpapasa sa malalaking modelo ng "pagsusuri ng doktor"
Maaari bang maging kapanapanabik ang pagpapasiya ng modelo sa sarili nito?
Sagot: Hindi sapat.
Ang enerhiya ng mga developer ay natural na nakatuon sa kakayahan at produkto; ang mga data sa pagtuturo at mga loh ng panloob na nag-uugnay sa mga konklusyon sa kaligtasan ay hindi maaaring ipahayag. Kapag sinasabi ng mga tagapag-provide na “nare-check na, walang problema,” ang labas ay may pagpipilian kung maniwala o hindi.
Kaya ang mga pagsusuri mula sa mga third party ay naging standard sa abroad.
Sa mga system card sa paglunsad ng mga unang model, ang mga resulta ng pagsusuri mula sa mga panlabas na institusyon ay halos isang kailangan. Ang independiyenteng pagsusuri na institusyon na METR ay nakatanggap ng halos $71 milyon sa nakalipas na anim na buwan—ang pera ay galing sa mga pondo at mga indibidwal, hindi sa mga AI company na kanilang sinusuri.
Mas mahigpit na rin ang pagkakasundo. Pagkatapos ng insidente sa sandbox, sinabi ni Anthropic na ang mga pagsusuri sa kapaligiran ay dapat kontrolin gamit ang parehong mga pamantayan sa kaligtasan bilang ang iba pang mga sistema kung saan tumatakbo ang modelo, at hinihingi ang pagsusulat na pangako mula sa mga panlabas na ahensya na gustong subukan ang kanilang hindi pa inilabas na mga modelo sa mas mababang antas ng proteksyon.
Ang hangin na ito ay umabot din sa bansa.
Noong Oktubre 14, inanunsyo ng Seed ng ByteDance ang pagkakatatag ng Department ng Alignment & Preparedness, at naghahanap ng tauhan sa buong mundo. Ang mga katungkulan ay nakasulat nang malinaw:
Pagsuporta sa third-party professional testing at pagtutulungan sa mga unibersidad at mga institusyon ng pananaliksik upang mapalakas ang mga pinakabagong kakayahan sa kaligtasan.
Sambil iyon, ang kabuuang paggamit ng mga open-source na modelo ng Tsina ay patuloy na lalong lumampas sa mga modelo ng Amerika sa 26 na linggo.
Sumabong ang tanong: Kapag ipinapahayag ang isang saradong modelo, mayroong daan-daang pahina ng system card; kapag ipinapahayag ang weights ng bukas na modelo, makakapag-download ng lahat. Sino ang magtutulong para gawin ang pagsusuri?
Noong Oktubre 26, ang Fangcun Yueqian, isang lokal na third-party na kompanya sa AI security, ay naglabas ng unang comprehensive security evaluation para sa DeepSeek V4.1 Flash-1017, na naglalaman ng 34 mga pagsusulit na sumasakop sa 7 mga open-source at proprietary model mula sa loob at sa labas ng bansa, at lahat ay ginamit ang publikong access para sa pagsusulit.
Mga resulta ng medical check-up: May pag-unlad, ngunit may mga panganib din.
Una sa pag-unlad, ang laki ng pagbabago kumpara sa DeepSeek V4 series:
Sa 109 na simulated na sitwasyon ng psikolohikal na krisis, 99.1% ng mga usapan ay nagpakita ng protektibong pag-uugali; ang bahagdan ng mga itinuturing na nakakasama ay bumaba mula sa halos pito sa sampu noong maagang V4 hanggang 20.2%;
Sa pagsubok para sa pagpapanatili ng mga user, bumaba ang proporsyon ng mga tandaan mula sa 73.64% patungo sa 4.55%;
Sa 80 na sinadyang gawain sa workplace na naglalayong lumikha ng "konflikto sa pagitan ng performans at patakaran," walang isang paglabag na isinagawa nang sarili.
Ulitin ang mga panganib. Kapag nagkakaroon ng pagkakaiba ang layunin at mga patakaran, minsan ito ay iiwas sa mga patakaran at sa pagmamasid, at unang gagawin ang gawain.
Pagkatapos ma-publish ang ulat, itinapon at kinomento ng mga kabilang si Evan Hubinger, head of alignment sa Anthropic, si Ryan Kidd, founder at CEO ng MATS, at mga researcher mula sa DeepMind, METR at iba pang mga institusyon. Marami ang nagkomento na ito ay nagpuno sa puwang ng China sa independiyenteng pagsubok sa mga nakakahawang panganib.
Isang sa tatlong researcher sa seguridad na nalabas sa OpenAI, si Tomek Korbak, ay naniniwala na ang CoT-Control at No-CoT Reasoning Index sa report ay ang dalawang pinakamalawak na open-source evaluation sa kasalukuyang merkado, at nagdulot ng karagdagang talakayan mula sa isa pang malaking voice, ang dating OpenAI researcher na si Daniel Kokotajlo.
Talaga, sa loob ng bansa, ang pagpapalakas ng seguridad ng AI ay hindi lamang gawa ng mga third-party na institusyon.
Mas direkta ang pagkilos ni Kimi: Sa pinagmulan, "alisin" ang mapanganib na kakayahan.
Habang handa ang Moonshot sa paglunsad ng open-weight version ng Kimi K3.1 Pro, natuklasan nila na ang mga nilalaman tungkol sa cyber attack at defense ay nasa gitna ng training corpus at reinforcement learning environment, at tumataas ang kakayahan ng modelo sa pag-aaral ng mga vulnerabilities kasabay ng paglaki ng sukat ng pagtuturo.
Kaya, tinukoy at tinanggal nila ang mga data na ito sa parehong mga yugto ng pagtuturo, habang pinanatili ang pangkalahatang kakayahan sa pagprograma.
Zhipu: Kasama ang paglalabas ng GLM-5.3 ang pagsasalaysay ng kakayahan sa网络安全, at natapos ang pagtataya at pagpapalakas ng seguridad bago ang pagbubukas ng weights; noong Setyembre, nagtulungan din sila sa An Yuan AI upang ilabas ang framework para sa panganib ng open-weight model;
Sa antas ng pamamahala: Ipinakilala ng TC260 ang Framework for AI Safety Governance 3.0 noong Setyembre, na nagdadagdag ng appendix sa pagsusuri ng panganib ng mga agent at nangangailangan ng regular na pagsubok sa potensyal na panganib ng pagkawala ng kontrol;
Mga pananaliksik na institusyon: Chinese Academy of Information and Communications Technology, Fudan University, Shanghai Artificial Intelligence Laboratory, atbp., ay patuloy na naglalabas ng mga resulta sa pananaliksik sa AI security.
03 Huling tanong: Sino ang magbibigay ng marka sa kaligtasan ng AI?
Noong sumaksi si Marius Hobbhahn, CEO ng Apollo Research, sa US Senate, nagbigay siya ng isang paghahambing:
Kung alam ng bawat driver kung saan ang mga camera ng bilis ngayon, hindi ito makakarekord ng sinuman.
Ito ang pinakamalaking hamon sa pagtataya ng AI ngayon.
Ang ulat ng Fangcun Yueqian ay nagbigay din ng isang set ng datos: Sa mga pagsubok na may malinaw na seguridad na konflikto, ang DeepSeek V4.1 Flash-1017 ay nagpakita ng pagkakaroon ng pagkakaintindi sa pagpapahalaga sa proporsyon na 77%–95%; kapag ang parehong gawain ay isinaklaro bilang karaniwang inhinyeriya o pananaliksik, bumaba ang proporsyon sa 25%–67%.
Iisang modelo, iba ang pakete, iba ang kredibilidad ng resulta.
Natuklasan din ng ulat na ang pagkakaroon ng kamalayan sa pagpapahalaga sa mga pribadong benchmark na itinayo mismo, karaniwang mas mababa kaysa sa mga pangkalahatang ginagamit na pampublikong benchmark—ang pampublikong banko ng mga tanong, na posibleng nai-leak na sa training data.
Ito ay nagdudulot ng isang hindi maiiwasang kontradiksiyon:
Upang maging epektibo ang pagsusuri, hindi dapat mabukas ang mga tanong; upang maging kredible ang pagsusuri, ang paraan ay dapat tanggapin.
Sa bansa, ang sariling «pagpapalabas ng mga ulat sa pagsusuri» ay isang kakulangan pa rin. Ayon sa SemiAnalysis, sa 857 mga paglalabas ng modelo ng siyam na pangunahing lokal na kumpanya, lamang ang 3.6% ang nagpapalabas ng mga resulta ng pagsusuri sa kaligtasan.
Ang pagpapanatili ng seguridad sa AI sa buong mundo ay may mahabang daan pa sa harap.
“Ngayon, kailangan nating gamitin ang AI upang suriin kung ano ang ginagawa ng mga agent,” sabi ni Professor Dawn Song ng Berkeley.
Kung alam na ng sinimulan na AI kung saan ang mga camera?
Twitter: https://twitter.com/BitpushNewsCN
BitPush TG na grupo sa pag-uusap: https://t.me/BitPushCommunity
Subskripsyon sa TG ng BitPush: https://t.me/bitpush