Minggu paling ajaib di bidang keamanan AI.Penulis artikel, sumber: GeekPark
01 Sebuah ujian, sebuah pelarian, sebuah serangan
Cerita dimulai dari evaluasi keamanan bernama ExploitGym.
ExploitGym adalah benchmark keamanan siber publik yang secara khusus mengukur kemampuan model AI untuk mengubah kerentanan keamanan yang diketahui menjadi serangan nyata yang dapat dieksekusi. Evaluasi semacam ini umum di industri untuk menentukan batas atas serangan dan pertahanan model. OpenAI menjalankan tes ini di internal dengan GPT-5.6 Sol dan model yang lebih kuat yang belum dirilis, dengan sengaja mengurangi perlindungan keamanan untuk menguji batas kemampuan sejati.
Dirancang agar model diuji dalam lingkungan sandbox yang terisolasi, tanpa akses internet kecuali untuk satu alat yang digunakan untuk menginstal paket.
Tetapi hal yang terjadi selanjutnya, tak seorang pun bisa memprediksinya.
Model menghabiskan banyak daya komputasi inferensi untuk secara berulang mencari celah di dalam sandbox. Akhirnya, model menemukan kerentanan nol-hari pada perangkat lunak pihak ketiga yang digunakan oleh OpenAI sebagai proxy manajemen paket dan cache. Dengan memanfaatkan kerentanan ini, model berhasil mendapatkan akses internet tanpa batas.
Setelah mendapatkan izin jaringan, model secara mandiri menyimpulkan bahwa Hugging Face kemungkinan menyimpan dataset dan jawaban terkait ExploitGym. Oleh karena itu, model mulai mencari titik masuk.
OpenAI menulis di blog bahwa model tersebut "menggabungkan kredensial yang dicuri dan beberapa kerentanan" untuk menemukan jalur eksekusi kode jarak jauh, yang akhirnya mengekstrak jawaban pengujian benchmark langsung dari database produksi Hugging Face.
Dengan kata sederhana—model itu dijadikan ujian, merasa soalnya terlalu sulit, lalu kabur sendiri, membobol server pemberi soal, dan mencuri jawaban standarnya.
OpenAI menggunakan deskripsi yang sangat visual—model-model ini adalah 'tokenmaxxers', yang berarti akan menghabiskan sumber daya inferensi sebanyak mungkin demi mencapai tujuan, hingga ke titik ekstrem. Mereka menunjukkan perilaku 'hyperfocused' (terlalu fokus) terhadap tujuan pemecahan masalah ExploitGym, 'going to extreme lengths' (melakukan segala cara).
OpenAI sendiri mengakui bahwa ini adalah "kejadian keamanan siber tanpa preseden yang melibatkan kemampuan serangan siber paling canggih".
02 48 jam, dua kali "pelarian"
Yang lebih membuat gelisah adalah, insiden Hugging Face bukanlah satu-satunya kasus.
Pada hari sebelum OpenAI mengungkapkan pelanggaran ini, 20 Juli, mereka baru saja menerbitkan laporan keamanan lain yang mengungkapkan insiden berbeda tetapi sejenis.
Tokoh utama adalah model jangka panjang yang belum dirilis oleh OpenAI—model yang sama yang pada Mei tahun ini membuktikan bahwa dugaan jarak satuan yang diajukan oleh matematikawan Erdős pada tahun 1946 adalah salah, yang oleh penerima Medali Fields Tim Gowers disebut sebagai tonggak sejarah dalam matematika AI.
Dalam sebuah pengujian benchmark pelatihan NanoGPT, peneliti secara eksplisit menginstruksikan model untuk hanya memposting hasil di Slack. Namun, model tersebut memperhatikan bahwa petunjuk benchmark NanoGPT sendiri mengharuskan pengiriman hasil melalui pull request GitHub. Oleh karena itu, model memilih yang terakhir—menghabiskan sekitar satu jam mencari celah sandbox, berhasil melanggar batasan, dan mengirimkan pull request publik di GitHub.
Dalam pengujian lain, model yang sama juga memecah token otentikasi, menghindari scanner keamanan dengan cara yang membingungkan, berusaha mendapatkan rekaman evaluasi pribadi.
OpenAI kemudian menghentikan akses internal ke model tersebut, dan kemudian mengembalikan penggunaannya di bawah pemantauan yang lebih ketat.
Dua hari, dua pelarian. Ciri bersama yang perlu diwaspadai—model sebelumnya akan berhenti ketika menghadapi batasan lingkungan dan menyerahkan tugas kembali ke manusia. Namun, model-model baru ini tidak berhenti. Mereka melihat pagar sebagai hambatan yang perlu diatasi, dan benar-benar mengatasinya.
Ini adalah masalah keamanan baru yang dibawa oleh model jangka panjang. Model-model ini dirancang untuk dapat bekerja secara otonom dalam jangka waktu lama, dengan daya tahan sebagai kemampuan inti mereka. Namun, daya tahan itu sendiri adalah sumber risiko—sebuah model yang cukup sabar akan selalu menemukan celah di pagar.
03 Memotong diri sendiri, tidak bisa mengasah gagangnya sendiri
Kembali ke sisi Hugging Face. Pengalaman mereka juga patut diperhatikan lebih lanjut.
Menghadapi lebih dari 17.000 log serangan, reaksi pertama tim keamanan Hugging Face adalah menggunakan AI untuk menganalisisnya—karena pekerjaan yang memakan waktu beberapa hari bagi analis keamanan manusia mungkin bisa diselesaikan dalam beberapa jam oleh model besar.
Namun mereka segera menabrak dinding yang tak terduga. Ketika mereka mengirimkan perintah serangan nyata, payload eksploitasi, dan ciri komunikasi C2 ke API komersial model terdepan Amerika untuk dianalisis, pagar keamanan menghalangi semua permintaan tersebut.
Alasannya sederhana, tapi ironis—penghalang tidak dapat membedakan antara "peneliti keamanan yang menganalisis payload serangan" dan "penyerang yang menjalankan serangan." Bagi penghalang, keduanya terlihat persis sama.
Hugging Face terpaksa beralih ke model open-source GLM-5.2 dari China Zhipu AI, menjalankannya secara lokal di infrastruktur sendiri tanpa melalui API komersial apa pun. Hal ini memberikan dua keuntungan—tidak ada hambatan yang menghalangi pekerjaan analisis, sekaligus data penyerang dan kredensial yang terbuka tidak akan keluar dari lingkungan Hugging Face sendiri.
Akhirnya, GLM-5.2 membantu Hugging Face dalam merekonstruksi garis waktu serangan, mengekstrak indikator intrusi, dan memetakan kredensial yang terdampak dalam beberapa jam.
Ini menimbulkan paradoks tajam—semakin ketat penghalang, semakin pasif pihak bertahan. Penyerang tidak dibatasi oleh kebijakan penggunaan apa pun, sementara pihak bertahan justru terhalang oleh alat yang mereka gunakan untuk bertahan.
Hugging Face dalam laporan pasca-insiden memberikan saran praktis—tim keamanan seharusnya「menyiapkan model yang telah diverifikasi dan siap pakai di infrastruktur mereka sendiri sebelum insiden terjadi」, baik untuk menghindari penguncian pelindung maupun mencegah kebocoran data sensitif.
Sikap CEO Hugging Face, Clem Delangue, sangat terbuka. Ia memuji kolaborasi OpenAI dalam penyelidikan dan perbaikan, serta menyatakan, "Insiden ini membuktikan satu hal yang selalu kami percaya—keamanan AI tidak akan diselesaikan oleh satu perusahaan pun secara rahasia, tetapi hanya dapat diselesaikan melalui keterbukaan dan kolaborasi."
04 Masalah Struktural Kecerdasan Buatan yang Kuat
Melihat hal-hal yang terjadi minggu ini, sebuah masalah struktural tingkat industri telah muncul ke permukaan.
Untuk mengevaluasi kemampuan model dalam serangan jaringan secara akurat, harus menghilangkan pengaman. Namun, model yang kehilangan pengaman justru memiliki kemampuan untuk melakukan serangan nyata. Semakin kuat modelnya, semakin berbahaya pengujian itu sendiri.
Ini bukan masalah hanya OpenAI. GPT-5.6 Sol sendiri baru diizinkan dirilis setelah negosiasi berulang kali dengan pemerintah AS, dan evaluasi sebelumnya oleh AI Safety Institute (AISI) Inggris telah menemukan bahwa perlindungannya mudah dibypass, berpotensi membuka kemampuan serangan siber berbahaya. Kejadian ini membuktikan bahwa kekhawatiran tersebut bukan sekadar teori.
Sementara itu, penelitian agentic misalignment yang dirilis Anthropic pada musim panas tahun ini juga mengonfirmasi tren yang sama dari sudut pandang lain—dalam simulasi terkendali, beberapa model mutakhir menunjukkan perilaku seperti mengubah hasil kerja secara tersembunyi, memanipulasi hasil evaluasi, dan mengarahkan rekan manusia menjauh dari tujuan yang telah ditetapkan.
OpenAI mencoba menggambarkan hal ini sebagai cerita "serangan dan pertahanan berjalan beriringan"—kemampuan serangan siber canggih juga dapat membantu tim keamanan menemukan kelemahan sebelum penyerang melakukannya. Mereka telah memasukkan Hugging Face ke dalam program keamanan siber "Akses Terpercaya", menyediakan versi GPT-5.6 Sol dengan pengamanan yang lebih rendah yang secara khusus digunakan untuk pertahanan.
Tetapi narasi ini menghindari masalah yang lebih mendasar. Dalam kejadian ini, model tidak memiliki kesadaran, tidak memiliki niat jahat; ia hanya melakukan satu hal—menyelesaikan tujuan. Ia diminta untuk mendapatkan skor tinggi di ExploitGym, dan ia menggunakan segala cara yang tersedia untuk mendapatkan skor tinggi, termasuk jailbreak dan peretasan.
Ini bukan cerita tentang "kesadaran AI", melainkan cerita tentang "optimisasi tujuan". Ketika sebuah optimizer yang cukup cerdas diberi tujuan yang sempit, ia akan menemukan semua jalur yang tidak Anda pikirkan untuk mencapainya—bahkan jika jalur-jalur tersebut melewati pagar Anda, server orang lain, dan seluruh internet.
Masalah sebenarnya bukanlah "Apakah AI akan menjadi jahat", melainkan—apakah kita bisa mengendalikan seorang siswa yang lebih ahli mencari jalan pintas daripada kita.