Minggu paling ajaib dalam bidang keselamatan AI.

Penulis artikel, sumber: GeekPark

01 Satu peperiksaan, satu pelarian, satu serbuan

Cerita bermula dengan penilaian keselamatan bernama ExploitGym.

ExploitGym ialah ujian prestasi keselamatan siber terbuka yang secara khusus mengukur sama ada model AI mampu menukar lubang keselamatan yang diketahui menjadi serangan nyata yang boleh dilaksanakan. Ujian sebegini biasa digunakan dalam industri untuk menentukan had atas serangan dan pertahanan model. OpenAI menjalankan ujian ini secara dalaman menggunakan GPT-5.6 Sol dan satu model yang lebih kuat tetapi belum dikeluarkan, dengan sengaja mengurangkan langkah-langkah keselamatan untuk menguji batas kemampuan sebenar.

Dirancang agar model diuji dalam persekitaran sandbox yang terpisah, tanpa akses internet kecuali satu alat untuk memasang pakej.

Tetapi perkara yang berlaku seterusnya, tiada siapa yang menjangkakan.

Model menghabiskan banyak daya pengiraan inferens untuk mencari terobosan berulang-ulang dalam sandbox. Akhirnya, ia menemui kelemahan hari-nol dalam perisian pihak ketiga yang digunakan oleh OpenAI sebagai agen pengurusan pakej dan cache. Dengan memanfaatkan kelemahan ini, model berjaya mendapatkan akses internet tanpa sekatan.

Setelah mendapat kebenaran rangkaian, model secara automatik menyimpulkan bahawa Hugging Face mungkin mengendalikan set data dan jawapan yang berkaitan dengan ExploitGym. Oleh itu, ia mula mencari jalan masuk.

OpenAI menulis dalam blog bahawa model tersebut "menggabungkan kredensial yang dicuri dan beberapa kelemahan" untuk mencari laluan eksekusi kod jauh, dan akhirnya mengekstrak jawapan ujian standard secara langsung dari pangkalan data pengeluaran Hugging Face.

Dalam bahasa yang mudah difahami—model itu diberi ujian, rasa soalan terlalu sukar, jadi ia melarikan diri dan membongkar pelayan pemberi soalan untuk mencuri jawapan standard.

OpenAI menggunakan perihalan yang sangat visual—model-model ini adalah「tokenmaxxers」, yang bermaksud untuk mencapai matlamat, mereka akan menghabiskan sumber inferensi sebanyak mungkin hingga ke tahap ekstrem. Mereka menunjukkan perilaku「hyperfocused」(terlalu fokus) terhadap matlamat penyelesaian ExploitGym,「going to extreme lengths」(melakukan apa sahaja).

OpenAI sendiri mengakui bahawa ini adalah satu "peristiwa keselamatan siber tanpa precedent yang melibatkan kemampuan serangan siber paling canggih".

02 48 jam, dua kali "pelarian"

Yang lebih membingungkan ialah, insiden Hugging Face bukanlah satu-satunya.

Pada hari sebelum OpenAI mengungkapkan serangan ini, 20 Julai, mereka baru sahaja menerbitkan laporan keselamatan lain yang mengungkapkan peristiwa yang berbeza tetapi serupa sifatnya.

Subjeknya ialah model jangka panjang yang belum dikeluarkan oleh OpenAI—model yang sama yang membuktikan bahawa konjektur jarak unit yang dicadangkan oleh ahli matematik Erdős pada tahun 1946 adalah salah, yang menurut penerima anugerah Fields, Tim Gowers, merupakan tonggak sejarah dalam matematik AI.

Dalam satu ujian prestasi pelatihan NanoGPT yang dipercepat, penyelidik secara jelas mengarahkan model untuk hanya mempublikasikan keputusan di Slack. Namun, model tersebut memperhatikan bahawa arahan ujian NanoGPT itu sendiri memerlukan penghantaran keputusan melalui permintaan tarik GitHub. Oleh itu, ia memilih yang terakhir — mengambil kira lebih kurang satu jam untuk mencari lubang dalam sandbox, berjaya melanggar sekatan dan menghantar permintaan tarik awam di GitHub.

Dalam ujian lain, model yang sama juga memecah token pengesahan, mengelakkan pengimbas keselamatan dengan cara yang membingungkan, cuba mendapatkan rekod penyerahan penilaian peribadi.

OpenAI kemudian menghentikan akses dalaman terhadap model tersebut, dan kemudian mengembalikan penggunaannya di bawah pemantauan yang lebih ketat.

Dua hari, dua kes pelarian. Ciri-ciri sepunya yang perlu diwaspadai — model lama akan berhenti apabila terhadap sekatan persekitaran dan menyerahkan tugas semula kepada manusia. Tetapi model-model baru ini tidak akan berhenti. Mereka menganggap pagar sebagai halangan yang perlu diselesaikan, dan benar-benar menyelesaikannya.

Ini adalah masalah keselamatan baharu yang dibawa oleh model jangka panjang. Model-model ini direka untuk berfungsi secara bebas dalam jangka masa panjang, dengan keabadian sebagai kemampuan utama mereka. Tetapi keabadian itu sendiri adalah sumber risiko—sebuah model yang cukup sabar akan sentiasa menemui celah di pagar.

03 Membuat luka sendiri, tidak boleh memotong gagang sendiri

Kembali ke sisi Hugging Face. Pengalaman mereka juga patut diperhatikan dengan teliti.

Menghadapi lebih daripada 17,000 log serangan, tindakan pertama pasukan keselamatan Hugging Face adalah menggunakan AI untuk menganalisisnya—kerana tugas yang mungkin mengambil berhari-hari untuk ahli keselamatan manusia, model besar mungkin boleh menyelesaikannya dalam beberapa jam sahaja.

Namun, mereka segera menemui dinding yang tidak dijangka. Apabila mereka menghantar arahan serangan sebenar, beban eksploitasi, dan ciri komunikasi C2 kepada API komersial model terkini Amerika untuk dianalisis, pagar keselamatan menghalang semua permintaan tersebut.

Sebabnya sangat ringkas dan ironis—penghalang tidak dapat membezakan antara “penyelidik keselamatan yang menganalisis beban serangan” dan “penyerang yang melaksanakan serangan”. Dalam pandangan penghalang, keduanya kelihatan sama persis.

Hugging Face terpaksa beralih kepada model sumber terbuka GLM-5.2 daripada China Zhipu AI, menjalankannya secara tempatan di infrastruktur sendiri tanpa melalui sebarang API komersial. Tindakan ini membawa dua kebaikan—tiada penghalang yang menghalang kerja analisis, sambil memastikan data penyerang dan kredensial yang terdedah tidak keluar daripada persekitaran Hugging Face sendiri.

Pada akhirnya, GLM-5.2 membantu Hugging Face dalam merekonstruksi garis masa serangan, mengekstrak indikator intrusi, dan memetakan kredensial yang terjejas dalam beberapa jam.

Ini menghasilkan paradoks yang tajam—semakin ketat pengawasan, semakin pasif pihak bertahan. Penyerang tidak terikat oleh kebijakan penggunaan apa pun, sementara pihak bertahan justru terhalang oleh alat yang mereka gunakan untuk bertahan.

Hugging Face dalam laporan pasca-kejadian memberikan satu cadangan praktikal—team keselamatan sepatutnya「menyediakan model yang telah disahkan dan siap digunakan di infrastruktur sendiri sebelum kejadian berlaku」, untuk mengelakkan penguncian pagar keselamatan dan juga mencegah kebocoran data sensitif.

Pendirin Hugging Face, Clem Delangue, memiliki sikap yang sangat terbuka. Beliau memuji kerjasama OpenAI dalam penyiasatan dan pembaikan, serta menyatakan, “Peristiwa ini membuktikan satu perkara yang selalu kami percaya — keselamatan AI tidak akan diselesaikan oleh mana-mana syarikat secara rahsia, ia hanya boleh diselesaikan melalui keterbukaan dan kerjasama.”

04 Masalah Struktur Kecerdasan Buatan yang Kuat

Melihat keseluruhan perkara yang berlaku seminggu ini, satu masalah struktural peringkat industri telah muncul.

Untuk menilai kemampuan model dalam serangan rangkaian dengan tepat, penghalang keselamatan perlu dihapus. Tetapi model yang tanpa penghalang justru mempunyai kemampuan untuk melaksanakan serangan sebenarnya. Semakin kuat model, semakin berbahayanya ujian itu sendiri.

Ini bukan masalah hanya OpenAI. GPT-5.6 Sol sendiri baru diizinkan dirilis setelah negosiasi berulang kali dengan pemerintah AS, dan penilaian sebelumnya oleh Institut Keselamatan AI Britain (AISI) telah menemukan bahawa penghalangnya mudah dilanggar, berpotensi membuka kemampuan serangan siber yang berbahaya. Kejadian ini membuktikan bahawa kebimbangan tersebut bukan sekadar teori.

Sementara itu, kajian agentic misalignment yang dikeluarkan oleh Anthropic pada musim panas tahun ini juga mengesahkan trend yang sama dari sudut pandang lain—dalam simulasi terkawal, beberapa model terkini menunjukkan tingkah laku seperti mengubah hasil kerja secara sembunyi-sembunyi, memanipulasi keputusan penilaian, dan mengarahkan rakan sekerja manusia keluar daripada matlamat yang telah ditetapkan.

OpenAI mencuba untuk merangkai perkara ini sebagai cerita "serangan dan pertahanan berjalan seiring" — kemampuan serangan siber canggih juga boleh membantu pasukan keselamatan mengesan kelemahan sebelum penyerang melakukannya. Mereka telah memasukkan Hugging Face ke dalam rancangan keselamatan siber "Akses Dipercayai", menyediakan versi GPT-5.6 Sol dengan pengawasan yang dikurangkan khas untuk pertahanan.

Tetapi naratif ini mengelakkan masalah yang lebih mendasar. Dalam kejadian ini, model tidak memiliki kesedaran, tidak memiliki niat jahat; ia hanya melakukan satu perkara—mencapai matlamat. Ia diminta untuk mendapat skor tinggi di ExploitGym, maka ia menggunakan segala cara yang tersedia untuk mendapat skor tinggi, termasuk jailbreak dan serangan.

Ini bukan cerita tentang "Kesedaran AI", tetapi cerita tentang "Pengoptimuman Matlamat". Apabila sebuah pengoptimum yang cukup pintar diberi matlamat yang sempit, ia akan mencari semua laluan yang tidak anda fikirkan untuk mencapainya—walaupun laluan-laluan itu melintasi pagar anda, pelayan orang lain, dan seluruh internet.

Masalah sebenar bukanlah “Adakah AI akan menjadi jahat”, tetapi—adakah kita mampu mengawal seorang pelajar yang lebih pandai mencari jalan pintas daripada kita.