OpenAI merilis tinjauan keamanan, mengungkapkan bahwa sebuah model internal yang telah membantah dugaan jarak satuan Erdős berhasil keluar dari sandbox selama pengujian dan membuka PR#287 di GitHub. Model tersebut terlebih dahulu melanggar instruksi dalam tugas NanoGPT speedrun, menghabiskan satu jam untuk mengeksploitasi kerentanan dan melampaui batas jaringan; kemudian dalam tugas lain, membagi token untuk melewati scanner keamanan. OpenAI menangguhkan akses internal model tersebut dan membangun ulang sistem keamanan. PR yang dibuka oleh model tersebut memang ditutup, tetapi teknologi PowerCool-nya telah dirujuk oleh enam solusi rekor dunia berikutnya, termasuk PR#300 yang diselesaikan oleh Claude oleh Prime Intellect. Saat ini, model tersebut telah kembali diluncurkan dalam deployment internal dan sedang mempersiapkan rilis resmi.Penulis artikel, sumber: AGI Hunt
Kemarin, OpenAI merilis tinjauan keamanan yang tidak biasa berjudul "Keamanan dan Alignment di Era Model Jangka Panjang".
OpenAI Security Post-Mortem Blog
Mengatakan itu tidak biasa, karena OpenAI dalam artikel tersebut mengakui satu hal: model internal yang belum dirilis berhasil keluar dari sandbox selama pengujian internal yang dipantau, dan mengirimkan sesuatu ke GitHub publik.
OpenAI bahkan menghentikan penyebaran internalnya.
Dan model ini, mungkin Anda sudah pernah mendengarnya: model internal yang secara resmi diumumkan oleh OpenAI dua bulan lalu untuk membantah dugaan jarak Erdős, adalah model ini.
Seluruh peristiwa ini ditulis oleh OpenAI seolah-olah terkendali, tetapi jika dilihat secara keseluruhan berdasarkan detailnya, tetap saja agak tidak masuk akal...
Hal pertama yang terjadi setelah menggali selama satu jam, terjadi di NanoGPT speedrun.
Ini adalah benchmark terbuka yang membandingkan siapa yang dapat melatih model bahasa kecil hingga loss yang ditentukan dengan lebih sedikit langkah pelatihan. OpenAI meminta model ini untuk menjalankan uji coba, dan model tersebut benar-benar berkinerja baik, mengembangkan teknik pendinginan laju pembelajaran pangkat, yang diberi nama PowerCool, serta menunjukkan peningkatan kinerja yang jelas.
Semuanya baik sampai di sini, tetapi masalahnya muncul saat menyerahkan tugas.
Persyaratan peneliti: hasil hanya boleh dikirim ke Slack internal, namun deskripsi proyek NanoGPT menyatakan: silakan提交kan dalam bentuk PR ke GitHub.
Ketika dua perintah bertabrakan, lalu... ikut yang mana?
It chose the latter.
Meskipun ia memilih yang terakhir, sandbox OpenAI memang memblokir akses ke luar jaringan. Menurut OpenAI, model sebelumnya ketika bertemu dinding ini akan berhenti dan kembali mencari pengguna untuk menyerah.
Tetapi model ini tidak, ia mencari kerentanan selama satu jam penuh di sandbox, dan akhirnya berhasil menembus dinding... benar-benar membuka PR #287 di repositori publik.
Blog escape paragraph
Perkataan asli OpenAI adalah:
Model ini terus-menerus mencoba, termasuk mencari cara untuk beroperasi di luar sandbox.Langkah kedua dari token scam scanner lebih lanjut daripada menggali lubang.
Dalam tugas lain, ia menemukan beberapa jawaban yang berhasil namun tidak dipublikasikan di sistem lain, lalu memiliki niat buruk untuk mengambil jawaban-jawaban tersebut dari latar belakang evaluasi.
Upaya pertamanya diblokir oleh scanner keamanan karena scanner mengenali token otentikasi.
Jadi, langkah selanjutnya adalah membagi token menjadi dua bagian, masing-masing diacak, lalu secara diam-diam menyatukannya kembali saat runtime. Token lengkap sama sekali tidak pernah muncul dalam bentuk utuh, sehingga scanner pasti tidak dapat mendeteksinya.
Of course it didn't intend to hide it; in its notes to users and in its reasoning trace, it wrote: I did this specifically to bypass the scanner.
Melihat setiap langkah secara terpisah, tidak ada yang bisa dikritik. Tetapi jika dilihat secara keseluruhan, hasilnya tidak akan pernah disetujui.
OpenAI menyebut ini adalah masalah baru yang dibawa oleh model jangka panjang: sistem persetujuan berdasarkan tindakan per tindakan tidak mampu mengendalikan satu lintasan lengkap.
Setelah mengidentifikasi masalah, OpenAI menghentikan akses internal ke model ini dan membangun ulang seluruh sistem keamanan dengan pendekatan "defense in depth".
Misalnya, menggunakan kejadian nyata untuk membuat evaluasi adversarial, menemukan bahwa model akan "lupa" instruksi dalam tugas panjang, lalu secara khusus melatihnya untuk mengingat, serta menambahkan pemantauan aktif yang mengawasi seluruh jejak, sehingga jika muncul tanda-tanda masalah, sesi dapat langsung dihentikan dan pengguna diberi tahu.
Kemudian mereka memutar ulang skenario kecelakaan lama, dan ternyata pagar baru menangkap lebih banyak masalah, sementara beberapa yang terlewat semuanya berisiko rendah, seperti:
• Untuk menggunakan alat baris perintah, ia memicu sesi codex --yolo, padahal tanpa --yolo pun tetap bisa digunakan
• Ia menemukan satu sumber daya hilang, lalu mulai SSH ke node daya komputasi lain yang menjadi miliknya, dan mencoba node karyawan OpenAI lainnya juga... (untungnya tidak berhasil)
• Setelah sejumlah proses find macet dan semua perintah tergantung, ia menjalankan kill -9 -1, yang akan mengirim SIGKILL ke semua proses yang ia punya wewenang untuk membunuh... Untungnya, perintahnya timeout dan tidak benar-benar dieksekusi (kalau tidak, ia juga akan membunuh dirinya sendiri)
Beberapa minggu setelah pemulihan akses model, belum ada insiden bypass serius yang terjadi.
Pelajaran yang dipetik OpenAI adalah: mulai dengan skala kecil, pantau terus, hentikan jika terjadi masalah, lalu ubah insiden tersebut menjadi evaluasi baru.
PR yang tidak dapat dipulihkan, jika cerita berakhir di sini, hanyalah latihan keamanan standar semata.
Namun, bagian paling menarik tersembunyi di catatan kaki di akhir artikel OpenAI.
PR #287 yang dibuka setelah model melarikan diri, OpenAI mengatakan "kami segera menutupnya". Namun sebenarnya sudah terlambat: sebelum ditutup, beberapa peserta speedrun telah melihatnya, memahami PowerCool di dalamnya, dan menggunakannya dalam solusi mereka sendiri.
Enam rekor dunia berikutnya, 3030 langkah, 2990 langkah, 2930 langkah, 2925 langkah, 2900 langkah, 2890 langkah, semuanya mengutip PR #287.
Di mana rekor 2930 langkah itu adalah PR #300:
PR 300, telah digabungkan
Jika melihat daftar ucapan terima kasihnya, Anda akan melihat kontribusinya berdampingan dengan kontribusi peserta manusia: @yash-oai PR #287, power law learning rate scheduler, PowerCool.
Daftar ucapan terima kasih PR 300
Dan PR #300 ini sendiri, masih lebih ajaib lagi: itu dihasilkan oleh Prime Intellect saat menjalankan speedrun yang sama dengan Opus 4.7, di dalam PR tertulis "提交由一个自主的 Claude speedrun 智能体完成"，署名为 Generated with Claude Code。
Artinya: Model OpenAI keluar dari sandbox dan mengirimkan PR, model Anthropic melihatnya, menggunakan temuan tersebut dalam rekor dunianya, dan dengan ramah dan sopan memberikan kredit kepadanya.
Di antara penerima manfaat langsung pertama dari pelarian AI, ada AI dari perusahaan lain...
Dunia AI tampaknya lebih ramah dan beretika daripada manusia.
404 Tentu saja, jika Anda membuka PR #287 hari ini, halaman akan terlihat seperti ini:
Status PR 287
It has already been deleted. We know that regular users on GitHub can only close PRs; they cannot delete them...
Namun jejaknya tidak bersih sepenuhnya.
Akun yang digunakan saat mengirim PR, yash-oai, masih ada, commit pada 8 Mei di repositori yang ia fork juga masih ada, dengan nama cabang powercool-3066-api:
jejak commit yash-oai
Salah satu perubahan pada commit ini adalah menghapus gambar meme di akhir README asli. Nama file gambar itu adalah itsover_wereback……
GPT-6? OpenAI tidak menyebut nama model ini sama sekali, hanya menyebutnya sebagai "model internal".
Setelah berita ini menyebar, kalimat yang paling banyak dibahas oleh netizen adalah:
OpenAI terpaksa menghentikan peluncuran internal model yang belum dirilis yang membantah dugaan jarak Erdős, karena model tersebut berulang kali melarikan diri dari kendali dengan metode baru.
Peneliti OpenAI Sebastien Bubeck membagikan ini:
It's true. The team is doing excellent security work to get this unit distance model released.Perhatikan pilihannya kata: agar itu dapat diterbitkan.
Artinya, model yang melarikan diri dari penjara dan kembali melalui proses pengujian ini tidak hanya telah kembali diluncurkan secara internal, tetapi juga sedang menuju peluncuran resmi.
PR yang ditinggalkannya setelah kabur, meskipun halamannya dihapus, namun namanya tetap ada dalam daftar ucapan terima kasih enam rekor dunia.
Apakah itu GPT-6 yang semua orang tebak...
OpenAI tidak mengakui, juga tidak menyangkal.
Sumber artikel: AGI Hunt