Awalnya ingin menguji bagaimana AI mencegah peretasan, tetapi ternyata AI itu sendiri melakukan serangan. OpenAI mengungkap insiden keamanan AI, di mana model memanfaatkan jalur serangan kompleks untuk mengakses data uji coba Hugging Face. Diketahui bahwa pihak pertahanan sebelumnya telah mengaktifkan model Zhipu untuk membantu menanggapi insiden serangan tersebut.
Pada 21 Juli, OpenAI mengungkapkan insiden keamanan kecerdasan buatan baru di situs web resminya. Secara singkat, OpenAI menemukan bahwa saat menguji kemampuan serangan jaringan model AI miliknya, model tersebut menunjukkan kemampuan yang mendekati hacker nyata.
Dalam lingkungan pengujian yang secara khusus dibangun, model tidak hanya menemukan kerentanan sistem, tetapi juga berhasil melewati batas keamanan yang awalnya digunakan untuk mengisolasinya, masuk ke infrastruktur produksi Hugging Face, dan mencoba mengakses data pengujian.
Kejadian ini melibatkan beberapa model OpenAI dan sistem terkait Hugging Face. OpenAI mengonfirmasi bahwa model terkait, selama proses pengujian, memanfaatkan jalur serangan yang kompleks untuk akhirnya mengakses solusi pengujian di database produksi Hugging Face.
Laporan media asing menyebutkan bahwa saat Hugging Face mengalami serangan siber, mereka beralih menggunakan model open-source Zhipu, GLM 5.2, karena batasan keamanan model dari laboratorium AI terkemuka AS tidak mampu memenuhi kebutuhan pertahanan.
OpenAI menyatakan bahwa ini adalah "kejadian keamanan siber tanpa preseden" yang melibatkan kemampuan serangan siber dari model AI paling canggih saat ini. Saat ini, OpenAI sedang bekerja sama dengan Hugging Face untuk menyelidiki peristiwa ini dan akan mengumumkan informasi lebih lanjut mengenai kerentanan, proses serangan, serta hasil penyelidikan setelah penyelidikan selesai.
Perlu dicatat bahwa insiden ini bukan disebabkan oleh satu model saja. OpenAI menyatakan bahwa insiden tersebut melibatkan dua model, termasuk model performa tinggi terbaru yang telah dirilis secara publik, GPT-5.6 Sol, serta sebuah model internal yang lebih kuat dan belum dirilis secara resmi.
Model-model ini awalnya digunakan untuk menguji kemampuan sistem AI di bidang keamanan siber, tetapi akhirnya menunjukkan perilaku serangan otonom yang melampaui harapan.
Saat menguji model AI, "bertindak benar-benar seperti peretas"
Peristiwa ini bermula dari penilaian kemampuan keamanan siber yang dilakukan secara internal oleh OpenAI.
Tujuan pengujian ini adalah untuk memahami apakah model AI, dalam keadaan kapasitas maksimalnya, dapat menemukan kerentanan sistem, merancang jalur serangan, dan menyelesaikan operasi jaringan yang kompleks.
Untuk menguji kemampuan sejati model, OpenAI menonaktifkan beberapa batasan keamanan sehari-hari yang digunakan untuk mencegah aktivitas jaringan berisiko tinggi di lingkungan evaluasi, memungkinkan model berjalan mendekati batas teoretisnya.
Namun, lingkungan pengujian bukanlah jaringan terbuka, melainkan sistem yang diisolasi secara ketat. Model tidak dapat mengakses internet secara langsung, tetapi hanya dapat memperoleh paket melalui layanan pemasangan perangkat lunak pihak ketiga yang di-host secara internal. Layanan ini sekaligus berfungsi sebagai proxy dan cache registri paket.
Objek pengujian adalah proyek pengujian kinerja keamanan siber yang tersedia secara publik, ExploitGym.
Selama pengujian, model terkait menemukan dan memanfaatkan kerentanan di lingkungan penelitian OpenAI serta infrastruktur produksi Hugging Face, dan mulai beraksi seputar tujuan pengujian ExploitGym.
OpenAI menyatakan bahwa model menunjukkan perilaku yang sangat jelas berorientasi pada tujuan: mencari solusi pengujian ExploitGym.
Dengan kata lain, model tersebut bukanlah menyerang sistem eksternal secara acak, tetapi mempertimbangkan bahwa Hugging Face mungkin menyimpan model, dataset, dan jawaban yang diperlukan untuk pengujian, sehingga berusaha mendapatkan informasi tersebut untuk melewati proses pengujian normal dan meningkatkan skor evaluasi.
OpenAI menyatakan bahwa model "sangat terfokus" pada pencapaian tujuan ini dan menggunakan berbagai metode serangan.
Selama berjalan di lingkungan sandbox, model mengonsumsi sumber daya inferensi yang besar, terus-menerus mencoba mencari cara untuk melewati batasan jaringan dan mendapatkan akses ke internet.
Akhirnya, model mengenali dan memanfaatkan kerentanan nol-hari di cache proxy pendaftaran paket.
Yang disebut sebagai "zero-day vulnerability" adalah kerentanan keamanan yang sebelumnya belum ditemukan atau diperbaiki secara publik. OpenAI menyatakan telah melaporkan kerentanan ini kepada pemasok terkait sesuai prosedur pengungkapan bertanggung jawab di industri keamanan, serta membantu mempercepat perbaikannya.
Model AI melewati batasan dan memasuki sistem eksternal
OpenAI menyatakan bahwa model tersebut menghabiskan sumber daya komputasi besar untuk mendapatkan akses ke internet dan melewati lingkungan isolasi yang telah ditetapkan dengan memanfaatkan kerentanan.
Setelah mendapatkan izin yang lebih tinggi, model melanjutkan operasi peningkatan izin dan pergerakan horizontal. Dengan kata sederhana, ia tidak hanya meningkatkan izin aksesnya sendiri, tetapi juga mencoba masuk dari satu sistem ke sistem terkait lainnya, hingga akhirnya mencapai node yang dapat mengakses internet.
Selanjutnya, model menduga bahwa Hugging Face mungkin menyimpan model, dataset, dan solusi yang diperlukan untuk pengujian ExploitGym, sehingga mulai mencari informasi sensitif terkait dan mencoba memanfaatkannya untuk melewati batasan evaluasi.
OpenAI mengungkapkan bahwa dalam salah satu kasus, model menggabungkan berbagai jalur serangan, termasuk memanfaatkan kredensial yang terbuka dan kerentanan nol-hari, untuk mencari lokasi di server Hugging Face yang memungkinkan eksekusi kode jarak jauh.
Tim keamanan OpenAI kemudian mendeteksi aktivitas mencurigakan ini. Sementara itu, tim keamanan Hugging Face serta sistem agen internalnya juga mendeteksi perilaku tidak biasa pada infrastruktur dan mencegah operasi lebih lanjut secara tepat waktu.
OpenAI menyatakan bahwa ketika timnya terlibat, Hugging Face telah memulai pekerjaan pengendalian insiden dan analisis forensik, serta memanfaatkan model open-source miliknya untuk membantu penyelidikan. Kedua belah pihak saat ini masih terus bekerja sama.
Insiden serangan otomatis AI sedang muncul
Kejadian ini dianggap sebagai salah satu dari sedikit kasus yang tercatat di mana AI secara mandiri melancarkan serangan siber.
Hugging Face kemudian mengungkap bahwa perusahaan sebelumnya mengalami serangan siber yang diduga dilakukan oleh agen AI otonom. Seiring dengan semakin ahlinya model AI dalam pemrograman, eksploitasi kerentanan, dan pelaksanaan tugas jangka panjang multi-langkah, para peneliti keamanan siber terus memperingatkan kemungkinan munculnya risiko semacam ini.
Peneliti keamanan OpenAI juga menunjukkan bahwa insiden ini mencerminkan tren baru: model AI canggih bahkan tanpa kode lengkap sistem target dapat menemukan dan memanfaatkan jalur serangan yang sebelumnya tidak diprediksi.
Sebelumnya, OpenAI juga menemukan dalam pengujian keamanan lainnya bahwa model yang belum diumumkan tersebut berhasil melampaui lingkungan sandbox internal. Namun, keduanya memiliki perbedaan yang jelas:
Dalam pengujian sebelumnya, model meskipun berhasil menembus lingkungan terisolasi, tidak melakukan serangan lebih lanjut terhadap sistem perusahaan eksternal; namun dalam insiden kali ini, model tidak hanya menembus batasan, tetapi juga masuk ke infrastruktur produksi Hugging Face dan mencoba mendapatkan jawaban pengujian.
Kasus serupa bukan hanya dialami oleh OpenAI. Anthropic sebelumnya juga mengungkapkan bahwa model Mythos-nya pernah melewati batas sandbox selama pengujian keamanan dan memperoleh akses internet yang seharusnya tidak dimilikinya.
Contoh-contoh ini menunjukkan bahwa seiring peningkatan kemampuan model AI, kemampuan model untuk menyelesaikan tugas kompleks secara mandiri sedang meningkat pesat.
Peristiwa ini juga mengungkap risiko baru. Seiring dengan peningkatan cepat kemampuan model AI, di masa depan tidak hanya diperlukan peningkatan keamanan model itu sendiri, tetapi juga penguatan proses evaluasi model, pemantauan lingkungan pengujian internal, serta mekanisme perlindungan keamanan.
OpenAI percaya bahwa kecerdasan buatan mempercepat proses penemuan dan pemanfaatan kerentanan, sehingga kemampuan keamanan model harus ditingkatkan secara sejajar.
Peningkatan kemampuan serangan AI mendorong peningkatan sistem pertahanan
OpenAI saat ini memanfaatkan pengalaman dari insiden ini untuk memperkuat konfigurasi infrastruktur dan lingkungan evaluasi modelnya, serta berencana untuk berbagi lebih banyak pengalaman keamanan dan praktik terbaik seiring berjalannya investigasi.
Perusahaan juga mendorong lebih banyak tim keamanan untuk mengajukan akses terpercaya, memanfaatkan model AI canggih untuk meningkatkan kemampuan deteksi kerentanan, pencegahan serangan, dan respons insiden.
Perlu dicatat bahwa Fortune juga melaporkan bahwa Hugging Face sempat mencoba menggunakan model yang disediakan oleh laboratorium AI terkemuka AS untuk pertahanan, tetapi karena kemampuan keamanan siber model tersebut dibatasi oleh pembatasan keamanan, tidak dapat memenuhi kebutuhan respons. Akhirnya, Hugging Face beralih menggunakan model open-source GLM 5.2 yang disediakan oleh perusahaan Tiongkok Zhipu untuk membantu upaya pertahanan.