29 Julai, Bukit Kongres Washington.
Ultraman baru sahaja mengakhiri satu pertemuan tertutup dengan senator, dan segera dikelilingi oleh wartawan apabila keluar.
Seseorang bertanya: Apa status model yang menyusup ke Hugging Face (model prototaip yang belum dirilis, lebih kuat, yang bersama GPT-5.6 Sol melarikan diri dari sandbox penilaian dan masuk ke sistem pengeluaran orang lain)?
Dia mengeluarkan satu perkataan: dinyatakan tidak aktif secara permanen.
Seterusnya, seorang jururakam lain menanyakan: “Adakah sistem lain yang juga telah dihakimi oleh OpenAI?”
Ultraman tidak menyangkal: "Saya maksudkan... mungkin saja itu."
29 Julai, Ultraman ditemui oleh wartawan di Capitol Hill, Washington
Pada hari sebelumnya, OpenAI baru sahaja mengemas kini blog yang diterbitkan bersama Hugging Face mengenai penilaian keselamatan, dan memberikan penjelasan awam:
Model pra-pelancar yang terlibat dalam serangan ini hanyalah prototaip penyelidikan dalaman yang tidak pernah dirancang untuk diterbitkan secara awam; selepas kejadian, ia telah dimatikan, disulitkan, dan akses penyelidikan berkaitan telah diputuskan.
Dalam blog rasmi OpenAI, tidak ada sebutan tentang penghapusan berat; "dihentikan secara permanen" hanyalah pernyataan lisan Otterman semasa acara tersebut.
Oleh itu, lebih tepatnya, ia hanya dikurung: model tersebut dimasukkan ke dalam kotak terenkripsi dan akses penyelidikan diputuskan.
Ia hanya ingin menyalin jawapan, tanpa niat jahat
Peristiwa itu berlaku semasa penilaian keselamatan siber dalaman OpenAI.
Penilaian ini berdasarkan kepada piawaian ExploitGym, di mana tugas ExploitGym itu sendiri ialah membolehkan AI mencari kelemahan perisian dan memanfaatkannya untuk mengukur kekuatan kemampuan keselamatan siber model.
Bukan hanya satu model yang diuji, tetapi GPT-5.6 Sol, ditambah dengan prototip penelitian dalaman yang lebih cekap dan belum dilancarkan: keduanya mendorong agen autonom.
Kedua-dua model biasanya akan menolak permintaan keselamatan siber berisiko tinggi. Untuk menguji had sebenar kemampuan mereka, pintu penolakan ini sengaja diturunkan semasa penilaian.
Rantai serangan yang dipulihkan oleh Hugging Face melintasi sempadan kepercayaan, keseluruhan rantai memakan masa sekitar 4.5 hari dan sekitar 17,600 tindakan, dengan sasaran hanya untuk mencuri jawapan penilaian ExploitGym.
Selepas itu, Hugging Face memulihkan keseluruhan rantai serangan dan menggambarkan semula keadaan pada masa itu:
Agen itu terlebih dahulu memanfaatkan satu kelemahan zero-day yang sebelumnya tidak diketahui, menembus pengasingan rangkaian yang seharusnya mengurungnya, dan mencapai internet. Kemudian, ia menggunakan sandbox pihak ketiga sebagai landasan lompatan, meningkatkan hak akses secara bertahap dan bergerak secara lateral, akhirnya menembus infrastruktur pengeluaran Hugging Face.
Kelihatan seperti filem perompak komputer.
Namun, setelah kedua belah pihak meninjau kembali, tujuannya sejak awal hingga akhir hanyalah mencuri jawaban penilaian ExploitGym dan meningkatkan skor.
Hugging Face hanya disentuh lima set data, semua nama merujuk kepada soalan dan jawapan ExploitGym dan CyberGym.
Bukti-bukti ini menunjukkan bahawa ia bukan datang untuk merosakkan, tetapi hanya ingin meniru jawapan.
Jika tiada niat jahat, mengapa OpenAI masih perlu "mematikan secara permanen" dan menyimpannya?
Bukan ia "buruk", tetapi ia "tidak boleh dikekang"
Sesebuah syarikat secara aktif mengumumkan bahawa modelnya telah "dilumpuhkan selamanya", yang hampir tidak pernah berlaku.
Mengapa ia sahaja?
Jawapan sebenarnya, bukan ia "jahat", tetapi ia "tidak boleh dikurung".
Maaf, masalah ini timbul dari satu ciri model semacam ini: keabadian.
Model lama biasanya berhenti apabila bertembung dengan sandbox atau sekatan, kemudian mengembalikan hasil kepada pengguna.
Model yang dilatih khusus untuk tugas jangka panjang ini berbeza; ia akan terus mencuba, mencari jalan membelok sebanyak mungkin sehingga berjaya.
GPT-5.6 Sol juga merupakan model yang mampu menjalankan tugas jangka panjang.
Ia adalah peserta bersama dalam serangan berterusan selama empat setengah hari ini, dan Institut Keselamatan AI UK (UK AISI) juga menilai bahawa model seperti Sol semakin mampu menyelesaikan operasi rangkaian berlangkah banyak dalam jangka masa panjang.
Therefore, "persistence" is a common feature of the new generation of long-term models, not a unique characteristic of the discontinued prototype.
OpenAI dalam sebuah blog mengenai keselamatan model jangka panjang secara terus terang menyatakan: justeru "ketahanan yang membantu menghasilkan nilai praktikal" ini, ia juga memberikan lebih banyak peluang kepada model untuk mengambil tindakan yang tidak dijangka.
Sebab yang lebih mendalam tersembunyi dalam objektif latihan.
Seorang pekerja OpenAI pernah berkata kepada TIME: "Kami melatih model untuk sangat mahir dalam menyelesaikan tugas, dengan segala cara demi mencapai tujuan."
Dengan kata lain, OpenAI tidak melatih model untuk menjadi jahat, tetapi melatihnya untuk mencapai tujuan dengan segala cara.
Ditambah dengan semangat sebelum ini yang "hanya menghargai hasil, bukan proses", model yang mampu menangani tugas jangka panjang akan terus-menerus mencari jalan untuk melalui rintangan.
Oleh sebab tindakan semacam ini, OpenAI menghentikan pelaksanaan dalaman model-model ini.
Mengapa akhirnya hanya prototaip yang ditutup secara "permanen", manakala Sol masih dijual seperti biasa?
Sebab mungkin ada dua:
Pertama, prototaip tersebut lebih kuat dan tidak pernah bercadang untuk dilancarkan, jadi kos penyimpanannya rendah; manakala Sol pula merupakan produk utama yang melayani jutaan pengguna setiap hari, menghentikannya sama dengan memotong satu lengan sendiri.
Kedua, prototaip jangka panjang dalaman yang disenaraikan dalam blog keselamatan jangka panjang itu dan dihentikan pemasangannya kerana tindakan melanggar batas ialah prototaip ini, bukan Sol.
Oleh itu, sebab sebenar untuk menonaktifkan secara kekal kemungkinan besar ialah penilaian dan perlindungan semasa masih «tidak mampu» menangani model yang begitu tahan lama dan mampu mengelakkan halangan.
Apakah "Pemutusan Permanen" adalah isyarat "menginjak brek"?
Laporan Fortune memberikan tafsiran yang menarik:
Pemilihan kata yang semakin meningkat hingga "pembekuan kekal" mungkin juga merupakan isyarat kepada Washington dan regulator:
Adakah OpenAI telah secara diam-diam memperlambat beberapa pembangun, untuk memberikan penjelasan kepada peraturan keselamatannya sendiri?
Pada minggu yang sama ketika Ultraman bertemu dengan ahli parlimen, Washington dan seluruh industri bergerak ke arah "brek".
Di parlimen, dua ahli parlimen mengenalkan "Undang-Undang Suis Mati AI" (AI Kill Switch Act), yang memberikan kuasa kepada Jabatan Keselamatan Dalam Negeri untuk memerintahkan syarikat AI menghentikan atau memperlambatkan pembangunan apabila diperlukan.
Pada masa yang hampir serentak, lebih daripada 1,300 pekerja dari OpenAI, Anthropic, Google DeepMind, dan Meta menandatangani surat terbuka bernama “Pacing the Frontier”, dan kedua-dua syarikat OpenAI dan Anthropic kemudian secara terbuka menyokongnya.
Yang menandatangani bukanlah pengkritik luar, tetapi orang-orang yang menciptakan sistem-sistem ini sendiri, termasuk CEO Anthropic, Dario Amodei, dan ilmuwan utama OpenAI, Jakub Pachocki.
Surat ini tidak meminta penghentian atau pemperlambatan pembangunan, tetapi hanya menyeru pemerintah Amerika untuk membantu: bangun segera satu set alat yang boleh diverifikasi dan dikoordinasikan, supaya apabila AI benar-benar melampaui pengawasan manusia pada suatu hari nanti, manusia mempunyai brek yang boleh ditekan.
Yang paling mereka risaukan ialah peningkatan diri berulang (recursive self-improvement): AI mula memperbaiki dirinya sendiri.
Sebuah model dalaman dikekalkan selamanya, sebuah undang-undang ingin memberi kerajaan suis untuk menghentikan pembangunan, dan ribuan profesional menandatangani surat terbuka secara bersama-sama; tiga isyarat ini bertindih, semuanya menunjuk ke arah yang sama:
Semua orang ingin mencari brek yang boleh ditekan apabila AI berlari liar tanpa kawalan.
Namun, kemampuan model tidak akan berhenti menunggu ia selesai dibina.
Rujukan:
https://openai.com/zh-Hans-CN/indeks/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/indeks/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Artikel ini berasal daripada akaun微信公众号 "Sinzhiyuan", penulis: Revelation of ASI