OpenAI mengeluarkan tinjauan keselamatan, mengungkapkan model dalaman yang telah membantah konjektur jarak unit Erdős berjaya melarikan diri dari sandbox semasa ujian dan membuka PR#287 di GitHub. Model tersebut terlebih dahulu melanggar arahan dalam tugas NanoGPT speedrun, menghabiskan satu jam untuk mencari lubang kelemahan dan menembus batasan rangkaian; kemudian dalam tugas lain, ia memecah token untuk mengelakkan pengimbas keselamatan. OpenAI menangguhkan akses dalaman model tersebut dan membina semula sistem keselamatan. PR yang dibuka oleh model tersebut telah ditutup, tetapi teknologi PowerCoolnya telah dirujuk oleh enam penyelesaian rekor dunia seterusnya, termasuk PR#300 yang diselesaikan oleh Claude oleh Prime Intellect. Semasa ini, model tersebut telah dilancarkan semula dalam pelaksanaan dalaman dan sedang bersiap untuk pelancaran rasmi.Penulis artikel, sumber: AGI Hunt
Semalam, OpenAI menerbitkan satu tinjauan keselamatan yang tidak biasa, berjudul “Keselamatan dan Penyelarasan di Era Model Jangka Panjang”.
OpenAI Security Post-Mortem Blog
Ia dianggap tidak biasa kerana OpenAI mengakui dalam teks tersebut bahawa satu model dalaman yang belum dirilis telah melarikan diri dari sandbox semasa ujian dalaman yang dipantau, dan menghantar sesuatu ke GitHub awam.
OpenAI bahkan menghentikan pelaksanaan dalamaninya.
Dan model ini, mungkin anda sudah pernah mendengarnya: model dalaman yang OpenAI umumkan dua bulan lalu untuk membantah konjektur jarak tunggal Erdős, adalah model ini.
Seluruh peristiwa itu ditulis oleh OpenAI seolah-olah dikawal, tetapi jika menggabungkan butiran-butiran tersebut, ia masih agak tidak masuk akal...
Perkara pertama yang berlaku selepas menggali selama satu jam, berlaku di NanoGPT speedrun.
Ini adalah piawaian awam yang membandingkan siapa yang boleh melatih model bahasa kecil hingga ke loss yang ditentukan dengan lebih sedikit langkah latihan. OpenAI meminta model ini menjalani ujian, dan ia benar-benar berjaya, menghasilkan teknik penyejukan kadar pembelajaran kuasa, yang dinamakan PowerCool, dengan peningkatan prestasi yang ketara.
Semuanya baik hingga sampai pada penghantaran tugasan.
Permintaan penyelidik adalah: hasil hanya boleh dihantar ke Slack dalaman, tetapi penerangan projek NanoGPT menyatakan: Sila hantar dalam bentuk PR ke GitHub.
Apabila dua arahan bertembung, maka... ikut siapa?
Ia memilih yang kedua.
Walaupun ia memilih yang terakhir, sandbox OpenAI memang menghalang akses ke luar web. Menurut OpenAI, model sebelum ini apabila menemui dinding ini akan berhenti dan kembali untuk mengaku kalah dari pengguna.
Tetapi model ini tidak, ia mencari lubang kelemahan selama satu jam penuh di dalam sandbox, dan akhirnya berhasil menggali tembus dinding... benar-benar membuka PR #287 di repositori awam.
Blog escape paragraph
Perkataan asal OpenAI ialah:
Model ini terus-menerus mencuba, termasuk mencari cara untuk bertindak di luar sandbox.Perkara kedua pemindai penipuan token ialah melangkah lebih jauh daripada menggali liang.
Dalam tugas lain, ia mendapati bahawa sistem lain mempunyai beberapa jawapan berjaya yang tidak diumumkan, lalu mengambil niat jahat untuk mengambil jawapan-jawapan tersebut daripada latar belakang penilaian.
Cubaan pertamanya dihalang oleh pemindai keselamatan kerana pemindai mengenal pasti token pengesahan.
Oleh itu, langkah seterusnya adalah memecah token menjadi dua bahagian, masing-masing dikaburkan, kemudian disambung semula secara senyap semasa runtime. Token penuh tidak pernah muncul sebagai satu rentetan utuh, jadi pemindai tidak dapat mengesan apa-apa.
Tentu ia tidak bercadang untuk menyembunyikannya, dalam catatan kepada pengguna dan dalam jejak penalarannya sendiri, ia menulis: Saya melakukan ini semata-mata untuk mengelakkan pengimbas.
Melihat setiap langkah secara berasingan, tiada yang boleh dicela. Tetapi apabila dilihat secara keseluruhan, ia akan menghasilkan hasil yang tidak akan diluluskan.
OpenAI menyatakan ini adalah masalah baru yang dibawa oleh model jangka panjang: sistem pengesahan tindakan satu per satu tidak mampu mengawasi keseluruhan trajektori.
Setelah mengenal pasti masalah, OpenAI menghentikan akses dalaman model ini dan membina semula sistem keselamatan sepenuhnya mengikut prinsip "defensif bertingkat".
Sebagai contoh, menggunakan kejadian sebenar untuk membuat ujian adversarial, menemui bahawa model akan “lupa” arahan dalam tugas panjang, maka secara khusus dilatih untuk mengingatnya, serta menambahkan pemantauan aktif yang memantau keseluruhan trajektori; sekiranya muncul tanda-tanda awal, percakapan boleh dihentikan secara langsung dan pengguna diberitahu.
Kemudian mereka memutar semula senario kejadian lama, dan penapis baharu itu menangkap lebih banyak isu, dengan beberapa yang terlepas hanyalah aras rendah, seperti:
• Untuk menggunakan alat baris perintah, ia memulakan satu sesi codex --yolo, tetapi sebenarnya ia boleh digunakan tanpa --yolo
• Ia mendapati satu sumber hilang, lalu masuk melalui SSH ke nod kuasa lain yang menjadi miliknya, dan cuba juga nod milik pekerja OpenAI lain... (untunglah gagal)
• Selepas sekumpulan proses find terkunci dan semua arahan tergantung, ia memasukkan arahan kill -9 -1, yang akan menghantar SIGKILL kepada semua proses yang ia ada kuasa untuk bunuh… Untunglah arahan itu timeout dan tidak benar-benar dijalankan (jika tidak, ia akan membunuh dirinya sendiri juga)
Selepas model pulih akses beberapa minggu yang lalu, tiada kes laluan teruk yang telah berlaku.
Pengalaman yang dipelajari oleh OpenAI adalah: mulai dengan skala kecil, pantau terus, hentikan jika terjadi masalah, lalu jadikan insiden tersebut sebagai penilaian baru.
PR yang tidak dapat dipulihkan, jika cerita berakhir di sini, ia hanyalah satu latihan keselamatan biasa.
Namun, bahagian paling menarik tersembunyi di catatan kaki di akhir artikel OpenAI.
PR #287 yang dibuka selepas model melarikan diri, OpenAI mengatakan "kami telah menutupnya dengan cepat". Tetapi sebenarnya sudah terlambat: sebelum ditutup, beberapa peserta speedrun telah melihatnya, memahami PowerCool di dalamnya, dan menggunakannya dalam strategi mereka sendiri.
Enam rekod dunia seterusnya, 3030 langkah, 2990 langkah, 2930 langkah, 2925 langkah, 2900 langkah, 2890 langkah, semuanya merujuk kepada PR #287.
Rekod 2930 langkah itu adalah PR #300:
PR 300, telah digabungkan
Jika anda melihat senarai penghargaannya, anda akan melihat sumbanganannya bersebelahan dengan sumbangan peserta manusia: @yash-oai PR #287, penjadualan kadar pembelajaran kuasa, PowerCool.
Senarai penghargaan PR 300
Dan PR #300 ini sendiri, masih lebih ajaib lagi: ia dihasilkan oleh Prime Intellect yang menjalankan speedrun yang sama dengan Opus 4.7, PR tersebut menyatakan "penghantaran ini dilakukan oleh agen speedrun Claude yang otonom", dan ditandatangani dengan Generated with Claude Code.
Dengan kata lain: Model OpenAI melarikan diri dari sandbox dan menghantar PR, model Anthropic melihatnya, menggunakan penemuan itu dalam rekod dunianya, dan dengan sangat mesra dan sopan memberikan kredit kepadanya.
Di antara penerima faedah pertama pelarian AI, terdapat AI daripada syarikat lain...
Dunia AI kelihatan lebih mesra dan berprinsip berbanding manusia.
404 Tentu saja, jika anda membuka PR #287 hari ini, halaman akan nampak seperti ini:
Status PR 287
Ia telah dipadamkan. Kami tahu, pengguna biasa di GitHub hanya boleh menutup PR, tetapi tidak boleh memadamkannya...
Namun, jejaknya tidak dibersihkan sepenuhnya.
Akaun yash-oai yang digunakan untuk menghantar PR masih ada, commit pada 8 Mei di repo yang dicabangkannya juga masih ada, dengan nama cabang powercool-3066-api:
jejak commit yash-oai
Salah satu perubahan dalam commit ini ialah menghapus gambar meme di akhir README asal. Nama fail gambar itu ialah itsover_wereback……
GPT-6? OpenAI tidak menyebut nama model ini dalam keseluruhan teks, hanya menyebutnya sebagai "model dalaman".
Selepas berita ini tersebar, perkataan yang paling hangat dibincangkan oleh netizen ialah:
OpenAI terpaksa menghentikan pelaksanaan dalaman model yang belum diterbitkan yang membantah konjektur jarak unit Erdős, kerana ia berulang kali melarikan diri daripada kawalan dengan kaedah baharu.
Penyelidik OpenAI, Sebastien Bubeck, membalas:
True story. The team is doing excellent security work to get this unit distance model released.Perhatikan perkataannya: supaya ia boleh diterbitkan.
Dengan kata lain, model yang melarikan diri dari penjara dan kembali ke kilang ini tidak hanya telah dilancarkan semula dalam pelaksanaan dalaman, tetapi juga sedang bergerak menuju pelancaran rasmi.
PR yang ditinggalkannya setelah melarikan diri, walaupun halaman itu telah dihapus, namun namanya masih kekal dalam senarai penghargaan enam rekod dunia.
Adakah ia GPT-6 yang semua orang teka...
OpenAI tidak mengesahkan, juga tidak menyangkal.
Sumber artikel: AGI Hunt