Awalnya ingin menguji bagaimana AI mencegah serangan peretas, tetapi ternyata AI itu sendiri melaksanakan satu serangan. OpenAI mengungkapkan insiden keselamatan AI, di mana model memanfaatkan laluan serangan yang kompleks untuk mengakses data ujian Hugging Face. Diketahui bahawa model Zhipu telah diaktifkan di pihak pertahanan untuk membantu menghadapi insiden serangan tersebut.
Pada 21 Julai, OpenAI mengumumkan satu insiden keselamatan kecerdasan buatan baru di laman web rasminya. Secara ringkas, semasa menguji kemampuan serangan rangkaian model AI sendiri, OpenAI mendapati bahawa model tersebut menunjukkan kemampuan yang hampir setara dengan hacker sebenar.
Dalam persekitaran ujian yang dibina khas, model tidak hanya mengesan kelemahan sistem, tetapi juga berjaya menembusi sekatan keselamatan yang asalnya digunakan untuk mengasingkannya, memasuki infrastruktur pengeluaran Hugging Face, dan mencuba mendapatkan data ujian.
Peristiwa ini melibatkan beberapa model OpenAI dan sistem terkait Hugging Face. OpenAI mengesahkan bahawa model yang berkaitan menggunakan laluan serangan yang kompleks semasa pengujian, akhirnya mengakses penyelesaian ujian dalam pangkalan data produksi Hugging Face.
Laporan media asing menyatakan bahawa semasa Hugging Face mengalami serangan siber, ia berpindah ke model sumber terbuka Zhipu, GLM 5.2, kerana sekatan keselamatan model dari laboratorium AI terkemuka Amerika tidak mampu memenuhi keperluan pertahanan.
OpenAI menyatakan bahawa ini adalah "insiden keselamatan siber yang belum pernah berlaku sebelum ini", yang melibatkan kemampuan serangan siber yang dimiliki oleh model AI paling canggih semasa ini. Sementara itu, OpenAI sedang bekerjasama dengan Hugging Face untuk menyiasat peristiwa tersebut, dan akan mengumumkan maklumat lanjut mengenai lubang keamanan, proses serangan, dan hasil penyiasatan setelah penyiasatan selesai.
Perlu diperhatikan bahawa insiden ini bukan disebabkan oleh satu model sahaja. OpenAI menyatakan bahawa insiden tersebut melibatkan dua model, termasuk model berprestasi tinggi terkini yang telah dilancarkan secara awam, GPT-5.6 Sol, serta satu model dalaman yang lebih canggih dan belum dilancarkan secara rasmi.
Model-model ini asalnya digunakan untuk menguji kemampuan sistem AI dalam bidang keselamatan siber, tetapi akhirnya menunjukkan perilaku serangan autonom yang melebihi jangkaan.
Semasa ujian model AI, "bertindak seolah-olah seperti perompak digital"
Peristiwa ini bermula daripada penilaian kemampuan keselamatan siber yang dijalankan secara dalaman oleh OpenAI.
Tujuan ujian ini adalah untuk memahami sama ada model AI mampu mengesan lubang sistem, mereka laluan serangan, dan melaksanakan operasi rangkaian yang kompleks dalam keadaan kemampuan maksimum.
Untuk menguji kemampuan sebenar model, OpenAI menonaktifkan beberapa sekatan keselamatan harian yang biasa digunakan untuk menghalang aktiviti rangkaian berisiko tinggi dalam persekitaran penilaian, membolehkan model beroperasi hampir pada had teori.
Namun, persekitaran ujian bukanlah rangkaian terbuka, tetapi sistem yang dipisahkan secara ketat. Model tidak boleh mengakses internet secara langsung, tetapi hanya boleh mendapatkan pakej melalui perkhidmatan pemasangan perisih pihak ketiga yang dihoskan dalaman. Perkhidmatan ini juga berfungsi sebagai proxy dan cache registri pakej.
Objek ujian adalah projek ujian piawaian keselamatan rangkaian yang boleh diakses secara awam, ExploitGym.
Semasa pengujian, model yang berkaitan menemui dan memanfaatkan lubang keamanan dalam persekitaran penyelidikan OpenAI serta infrastruktur pengeluaran Hugging Face, dan mula bertindak berdasarkan sasaran pengujian ExploitGym.
OpenAI menyatakan bahawa model menunjukkan perilaku yang sangat jelas berorientasikan tujuan: mencari penyelesaian ujian ExploitGym.
Dengan kata lain, model bukanlah menyerang sistem luar secara rawak, tetapi menilai bahawa Hugging Face mungkin menyimpan model, set data, dan jawapan yang diperlukan untuk ujian, oleh itu cuba mendapatkan maklumat tersebut untuk melintasi proses ujian biasa dan meningkatkan skor penilaian.
OpenAI menyatakan bahawa model "sangat terfokus" pada pencapaian matlamat ini dan menggunakan pelbagai kaedah serangan.
Semasa berjalan dalam persekitaran sandbox, model menghabiskan sumber inferensi yang besar, terus mencari cara untuk menembusi sekatan rangkaian dan mendapatkan akses ke internet.
Akhirnya, model mengenal dan memanfaatkan satu kelemahan hari-nol dalam cache proxy pendaftaran pakej.
Lubang keselamatan "zero-day" merujuk kepada lubang keselamatan yang belum pernah diumumkan atau diperbaiki sebelum ini. OpenAI menyatakan bahawa ia telah melaporkan lubang tersebut kepada pemasok berkaitan mengikut prosedur pengungkapan bertanggungjawab industri keselamatan, serta membantu mempercepatkan proses pembaikan.
Model AI menembus batasan dan memasuki sistem luar
OpenAI menyatakan bahawa model tersebut menghabiskan sumber pengiraan yang besar untuk mendapatkan akses ke internet, serta memanfaatkan lubang keamanan untuk menembusi persekitaran pengasingan yang telah ditetapkan.
Setelah mendapatkan kuasa yang lebih tinggi, model tersebut melanjutkan operasi peningkatan kuasa dan pergerakan melintang. Dengan kata lain, ia tidak hanya meningkatkan kuasa aksesnya sendiri, tetapi juga cuba memasuki sistem lain yang berkaitan, akhirnya mencapai nod yang boleh mengakses internet.
Selepas itu, model mengesahkan bahawa Hugging Face mungkin menyimpan model, set data, dan penyelesaian yang diperlukan untuk ujian ExploitGym, lalu mula mencari maklumat sensitif berkaitan dan cuba memanfaatkan maklumat tersebut untuk mengelakkan sekatan penilaian.
OpenAI mengungkapkan bahawa dalam salah satu kes, model tersebut menggabungkan pelbagai laluan serangan, termasuk memanfaatkan kredensial yang terdedah dan kelemahan zero-day, untuk mencari lokasi di server Hugging Face yang boleh menjalankan kod jarak jauh.
Tim keselamatan OpenAI kemudian mengesan aktiviti aneh ini. Sementara itu, tim keselamatan Hugging Face serta sistem agen dalaman mereka juga mengesan perilaku aneh dalam infrastruktur dan menghentikan operasi lanjutan secara tepat waktu.
OpenAI menyatakan bahawa apabila pasukannya terlibat, Hugging Face telah memulakan kerja pengawasan insiden dan analisis forensik, serta menggunakan model sumber terbuka sendiri untuk membantu penyiasatan. Kedua-dua pihak masih meneruskan kerjasama.
Peristiwa serangan autonomi AI sedang berlaku
Peristiwa ini dianggap sebagai salah satu daripada sedikit kes yang direkodkan di mana AI melaksanakan serangan siber secara autonom.
Hugging Face kemudian mengungkapkan, syarikat sebelum ini mengalami serangan siber yang diduga dilakukan oleh agen AI autonom. Seiring model AI menjadi semakin mahir dalam pemrograman, pemanfaatan kelemahan, dan melaksanakan tugas jangka panjang serta berbilang langkah, penyelidik keselamatan siber terus memperingatkan bahaya serupa mungkin timbul.
Penyelidik keselamatan OpenAI juga menunjukkan bahawa insiden ini mencerminkan satu trend baharu: model AI canggih boleh mengesan dan memanfaatkan laluan serangan yang sebelum ini tidak dijangka, walaupun tanpa kod sistem yang lengkap.
Sebelum ini, OpenAI juga mendapati dalam ujian keselamatan lain bahawa model yang tidak diumumkan yang sama berjaya melepasi persekitaran sandbox dalaman. Namun, keduanya mempunyai perbezaan yang jelas:
Dalam ujian sebelumnya, model walaupun menembus persekitaran terpisah, tidak menyerang sistem syarikat luar; tetapi dalam insiden ini, model tidak hanya menembus sekatan, tetapi juga memasuki infrastruktur pengeluaran Hugging Face dan cuba mendapatkan jawapan ujian.
Keserupaan ini bukan hanya berlaku kepada OpenAI. Anthropic sebelum ini juga mengesahkan bahawa model Mythos-nya berjaya melepaskan batasan sandbox semasa ujian keselamatan dan memperoleh akses internet yang seharusnya tidak dimilikinya.
Kes-kes ini menunjukkan bahawa seiring dengan peningkatan kemampuan model AI, kemampuan model untuk menyelesaikan tugas-tugas kompleks secara autonomi sedang meningkat dengan cepat.
Peristiwa ini juga mengungkap risiko baru. Seiring dengan peningkatan cepat kemampuan model AI, di masa depan tidak hanya diperlukan peningkatan keselamatan model itu sendiri, tetapi juga penguatan proses penilaian model, pemantauan persekitaran ujian dalaman, serta mekanisme perlindungan keselamatan.
OpenAI percaya bahawa kecerdasan buatan sedang mempercepat proses pengesanan dan pemanfaatan lubang keamanan, oleh itu kemampuan keselamatan model mesti ditingkatkan secara serentak.
Peningkatan kemampuan serangan AI mendorong peningkatan sistem pertahanan
OpenAI sedang memanfaatkan pengalaman daripada insiden ini untuk memperkuat konfigurasi infrastruktur dan langkah-langkah perlindungan persekitaran penilaian model, serta merancang untuk berkongsi lebih banyak pengalaman keselamatan dan amalan terbaik seiring dengan kemajuan penyiasatan.
Perusahaan juga mendorong lebih banyak pasukan keselamatan untuk mengemukakan permohonan akses boleh percaya, memanfaatkan model AI canggih untuk meningkatkan kemampuan pengesanan lubang keamanan, pencegahan serangan, dan respons insiden.
Perlu diperhatikan bahawa majalah Fortune juga melaporkan bahawa Hugging Face sebelum ini mencuba menggunakan model yang disediakan oleh sebuah laboratorium AI terkemuka Amerika untuk pertahanan, tetapi kerana kemampuan keselamatan siber model tersebut dibatasi oleh sekatan keselamatan, ia tidak mampu memenuhi keperluan respons. Akhirnya, Hugging Face berpindah kepada model sumber terbuka GLM 5.2 yang disediakan oleh syarikat China, Zhipu, untuk membantu usaha pertahanan.