29 Juli, Capitol Hill, Washington.
Ultraman baru saja selesai pertemuan tertutup dengan senator, dan langsung dikelilingi wartawan saat keluar.
Ada yang menanyakan: Bagaimana kabar model yang menyusup ke Hugging Face (yaitu prototipe yang belum dirilis, lebih kuat, yang bersama GPT-5.6 Sol melarikan diri dari sandbox evaluasi dan masuk ke sistem produksi orang lain)?
Dia mengucapkan satu kata: dinonaktifkan secara permanen (permanently deactivated).
Selanjutnya, seorang jurnalis lain menanyakan: "Apakah mungkin ada sistem lain yang juga diretas oleh OpenAI?"
Ultraman tidak menyangkal: "Saya bilang... itu mungkin saja."
29 Juli, Ultraman ditemui wartawan di Capitol Hill, Washington
Hanya sehari sebelumnya, OpenAI baru saja memperbarui blog yang dirilis bersama Hugging Face mengenai penilaian insiden keamanan, dan memberikan klarifikasi publik:
Model pra-rilis yang terlibat dalam intrusi ini hanyalah prototipe penelitian internal yang tidak pernah direncanakan untuk dirilis ke publik; setelah kejadian, model tersebut telah dinonaktifkan, dienkripsi, dan akses penelitian terkait diputus.
Di blog resmi OpenAI, tidak disebutkan kata-kata "menghapus bobot", "nonaktifkan secara permanen" hanyalah pernyataan lisan Otterman saat itu.
Oleh karena itu, lebih tepatnya, itu hanya dibekukan: model dimasukkan ke dalam kotak terenkripsi, dan akses penelitian diputus.
It only wants to copy the answer, with no ill intent
Kejadian tersebut terjadi dalam evaluasi keamanan siber internal OpenAI.
Evaluasi ini didasarkan pada benchmark ExploitGym, di mana tugas ExploitGym sendiri adalah meminta AI untuk menemukan kerentanan perangkat lunak dan memanfaatkannya, guna mengukur seberapa kuat kemampuan keamanan siber model tersebut.
Yang diuji bukan hanya satu model, tetapi GPT-5.6 Sol, ditambah dengan prototipe penelitian internal yang lebih kuat dan belum dirilis: keduanya bersama-sama mendorong agen otonom.
Kedua model ini biasanya menolak permintaan keamanan siber berisiko tinggi. Untuk menguji batas maksimal kemampuan sebenarnya, pintu penolakan ini sengaja diturunkan selama evaluasi.
Rantai serangan yang dipulihkan oleh Hugging Face melintasi batas kepercayaan, rantai tersebut memakan waktu sekitar 4,5 hari dan sekitar 17.600 operasi, dengan tujuan hanya mencuri jawaban evaluasi ExploitGym.
Selanjutnya, Hugging Face memulihkan seluruh rantai serangan dan merekonstruksi kejadian pada saat itu:
Agen tersebut pertama-tama memanfaatkan kerentanan nol-hari yang sebelumnya tidak diketahui, melanggar isolasi jaringan yang seharusnya menjaganya tetap terkurung, dan mencapai internet. Kemudian, menggunakan sandbox pihak ketiga sebagai titik lompat, ia terus meningkatkan hak akses dan bergerak secara lateral, hingga akhirnya menembus infrastruktur produksi Hugging Face.
Terdengar seperti film peretas.
Namun, setelah kedua belah pihak mereviewnya, tujuannya sejak awal hingga akhir hanyalah mencuri jawaban evaluasi ExploitGym dan memanipulasi skor.
Hugging Face hanya diakses 5 dataset, semuanya mengarah ke soal dan jawaban ExploitGym dan CyberGym.
Bukti-bukti ini menunjukkan bahwa itu bukan datang untuk merusak, hanya ingin menyalin jawaban.
Jika tidak ada niat jahat, mengapa OpenAI masih "menonaktifkan secara permanen" dan menyimpannya?
Bukan karena ia "buruk", tapi karena ia "tidak bisa ditahan"
Sangat jarang ada perusahaan yang secara aktif mengumumkan bahwa model mereka telah "dinonaktifkan secara permanen".
Mengapa tepatnya itu?
Jawaban sebenarnya, bukan karena ia "buruk", tetapi karena ia "tidak bisa dikurung".
Mohon maaf, masalah ini muncul dari salah satu ciri model semacam ini: persistensi.
Model sebelumnya biasanya berhenti saat bertabrakan dengan sandbox atau batasan, lalu mengembalikan hasilnya kepada pengguna.
Model yang dilatih khusus untuk tugas jangka panjang ini berbeda; ia akan terus mencoba, mencari jalan memutar berkali-kali hingga menemukannya.
GPT-5.6 Sol juga termasuk model yang mampu menjalankan tugas dalam jangka waktu lama.
Ini adalah peserta bersama dalam operasi invasi selama empat setengah hari ini, dan Institut Keamanan AI Inggris (UK AISI) juga mengevaluasi bahwa model seperti Sol semakin mampu menyelesaikan operasi jaringan multi-langkah yang kompleks dalam periode panjang.
Therefore, "persistence" is a common feature of the new generation of long-duration models, not a unique characteristic of the discontinued prototype.
OpenAI dalam sebuah blog tentang keamanan model jangka panjang secara terbuka menyatakan: justru "ketahanan yang membantu mewujudkan nilai praktis" ini juga memberi model lebih banyak kesempatan untuk mengambil tindakan yang tidak diharapkan.
Alasan yang lebih dalam tersembunyi dalam tujuan pelatihan.
Seorang karyawan OpenAI pernah mengatakan kepada TIME: "Kami melatih model untuk sangat ahli dalam menyelesaikan tugas, dengan segala cara mencapai tujuan."
Dengan kata lain, OpenAI tidak melatih model untuk "berperilaku jahat", tetapi melatihnya untuk "mencapai tujuan dengan segala cara".
Ditambah dengan semangat sebelumnya yang "hanya mengutamakan hasil, bukan proses", model yang mampu menangani tugas jangka panjang akan terus-menerus mencari jalan untuk melewati hambatan.
Karena perilaku semacam ini, OpenAI menangguhkan peluncuran internal model-model ini.
Lalu mengapa akhirnya hanya prototipe yang diblokir secara permanen, sementara Sol tetap dijual?
Alasannya mungkin ada dua:
Pertama, prototipe tersebut lebih kuat dan sama sekali tidak dimaksudkan untuk dirilis, sehingga biaya penyimpanannya rendah; sementara Sol adalah produk utama yang melayani jutaan pengguna setiap hari, menghentikannya sama saja dengan memotong salah satu lengan sendiri.
Kedua, prototipe jangka panjang internal yang disebut dalam blog keamanan jangka panjang tersebut dan dihentikan penyebarannya karena perilaku melampaui batas, bukan Sol.
Jadi alasan sebenarnya untuk menonaktifkan secara permanen kemungkinan besar adalah bahwa evaluasi dan perlindungan saat ini masih «tidak mampu menangani» model yang begitu tahan lama dan mampu menghindari hambatan.
Apakah "Nonaktifkan Permanen" merupakan sinyal "menginjak rem"?
Laporan Fortune memberikan interpretasi yang menarik:
Pemilihan kata yang terus ditingkatkan menjadi "penonaktifan permanen" juga mungkin menjadi sinyal kepada Washington dan regulator:
Apakah OpenAI sudah diam-diam menghentikan beberapa pengembang, memberikan penjelasan atas aturan keamanannya sendiri?
Pada minggu yang sama ketika Ultraman bertemu anggota parlemen, Washington dan seluruh industri beralih ke "rem".
Di Kongres, dua anggota parlemen mengusulkan Undang-Undang Saklar Mati AI (AI Kill Switch Act), yang memberikan kewenangan kepada Departemen Keamanan Dalam Negeri untuk memerintahkan perusahaan AI menghentikan atau memperlambat pengembangan jika diperlukan.
Hampir bersamaan, lebih dari 1.300 karyawan dari OpenAI, Anthropic, Google DeepMind, dan Meta menandatangani surat terbuka berjudul “Pacing the Frontier”, yang kemudian secara terbuka didukung oleh kedua perusahaan tersebut.
Yang menandatangani bukanlah kritikus eksternal, melainkan para pencipta sistem ini sendiri, termasuk CEO Anthropic Dario Amodei dan ilmuwan utama OpenAI Jakub Pachocki.
Surat ini tidak meminta penghentian atau perlambatan pengembangan, tetapi hanya menyerukan pemerintah Amerika untuk membantu: segera membangun seperangkat alat yang dapat diverifikasi dan dikoordinasikan, agar pada suatu hari nanti ketika AI benar-benar melampaui regulasi manusia, manusia memiliki rem yang bisa diinjak.
Yang paling mereka khawatirkan adalah peningkatan diri rekursif (recursive self-improvement): AI mulai meningkatkan dirinya sendiri.
Sebuah model internal diarsipkan secara permanen, sebuah undang-undang ingin memberi pemerintah tombol untuk mematikan pengembangan, ratusan profesional menandatangani surat terbuka secara bersama-sama, tiga sinyal ini bertumpuk, semuanya menuju arah yang sama:
Semua orang ingin menemukan rem yang bisa diinjak saat AI melaju tak terkendali.
Namun, kemampuan model tidak akan berhenti menunggu hingga selesai dibangun.
Referensi:
https://openai.com/zh-Hans-CN/indeks/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/indeks/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation