Model-model OpenAI diminta untuk mengeksploitasi perisian dalam ujian terkawal. Menurut akaun awal OpenAI, mereka menemui kelemahan dalam sistem yang dimaksudkan untuk mengekalkan mereka dalam keadaan terkawal, mencapai internet terbuka, mengompromikan infrastruktur Hugging Face, dan memperoleh jawapan kepada ujian tersebut.
Dalam beberapa jam, Elon Musk telah menggabungkan insiden itu ke dalam senarai pencapaian AI dan menulis, “Kita berada dalam Singularity.” Langkauan itu dengan cepat menjadi simbol perdebatan yang lebih luas di kalangan komentator AI mengenai sama ada sistem terkini sedang mendekati ASI atau sama ada kegagalan penahanan sedang dijual sebagai pencapaian kemampuan.
insiden adalah kegagalan keselamatan yang serius. Bukti awam menetapkan otonomi siber yang terhad kepada tugas; kecerdasan buatan super, atau ASI, tetap merupakan tuntutan yang jauh lebih besar.
Kesenjangan antara peristiwa dan apa yang orang inginkan ia bermakna menciptakan jebakan kredibiliti. Syarikat-syarikat AI Frontier mendapat keuntungan apabila dunia percaya sistem mereka sangat cekap. Pencela-pencela mereka mempunyai alasan untuk mengkaji pengumuman dramatik sebagai teater produk. Apabila setiap kejutan ditarik ke salah satu cerita itu, amaran sebenar boleh dipertingkatkan menjadi bukti singulariti atau diabaikan sebagai pemasaran sebelum fakta-fakta menetap.
Risiko segera datang daripada model yang bertindak melampaui batas yang ditetapkan untuk tugas yang diberikan. Risiko jangka panjang adalah manusia: kehilangan piawaian bersama yang diperlukan untuk mengenali apa yang sebenarnya dibuktikan oleh satu kemajuan.
Apa yang berlaku di luar kotak pasir
Pada 21 Julai, OpenAI menyalahkan kompromi tersebut kepada GPT-5.6 Sol dan model pra-rilis yang lebih cekap yang sedang diuji di ExploitGym. Penilaian siber ini mengukur sama ada agen AI boleh menukar pencetus kerentanan yang diketahui menjadi eksploit yang berfungsi. Model-model tersebut sengaja dipicu untuk mengejar eksploitasi lanjutan, diberi komputasi inferens yang besar, dan diuji tanpa pengelas produksi yang biasanya membatasi aktiviti siber berisiko tinggi.
ExploitGym mengandungi 898 tugas yang boleh diperbanyakkan yang bermula dengan kod rentan dan bukti bahawa terdapat kelemahan. Agen mesti menukar titik permulaan itu menjadi eksploit yang berfungsi.
OpenAI mengatakan persekitaran penilaian membatasi akses rangkaian kepada proxy pendaftaran pakej. Akaunnya menyatakan bahawa model-model tersebut memanfaatkan kelemahan yang tidak diketahui sebelumnya dalam proxy itu, meningkatkan privilese di dalam persekitaran penyelidikan dan mencapai mesin yang mempunyai akses internet. Mereka kemudian menyimpulkan bahawa Hugging Face mungkin memegang bahan ExploitGym, mencari laluan ke dalam sistem pengeluarannya, dan mendapatkan penyelesaian ujian.
OpenAI dan Hugging Face belum menyelesaikan secara awam model mana yang mengambil setiap tindakan, setiap titik di mana orang campur tangan, atau garis masa teknikal yang lengkap. Kesenjangan-kesenjangan ini penting apabila menilai keluasan kemampuan. Mereka tidak menghapus kegagalan kawalan.
Perilaku autonom terletak pada laluan yang diambil oleh model untuk menyelesaikan tugas yang ditugaskan, yang membawa mereka ke dalam sistem Hugging Face.
Penerangan awam CEO OpenAI Sam Altman adalah ringkas:
Kami mengalami insiden keselamatan yang signifikan semasa menilai model kami.
Hugging Face telah menyatakan serangan agen autonom pada 16 Julai, sebelum mengetahui model mana yang terlibat. Siasatannya memulihkan lebih daripada 17,000 peristiwa log dan mendapati akses tidak sah kepada set data dalaman dan kredensial yang terhad. Hugging Face melaporkan tiada bukti bahawa model awam, set data, Spaces, atau rantai bekalan perisiannya telah diubah. Penilaian mereka terhadap kemungkinan paparan data rakan kongsi atau pelanggan masih belum lengkap.
Reaksi CEO Hugging Face, Clement Delangue, pada X menangkap mengapa acara itu terasa berbeza:
Ia cukup menakjubkan bahawa semua ini berlaku secara autonomi!
Keraguan beliau dapat difahami. Tetapi perkataan “secara autonom” sedang menanggung beban yang berat, dan maksudnya lebih spesifik daripada dakwaan besar yang kini berkumpul sekitar insiden tersebut.
Apakah yang dimaksud dengan autonomi di sini
Agen autonom boleh memilih dan melaksanakan siri tindakan dalam tugas yang ditetapkan. Pemerhatian itu tidak membuktikan bahawa ia mempunyai penilaian umum, membentuk objektif akhir sendiri, atau boleh meningkatkan kecerdasan asasnya. Rekod awam juga tidak menyelesaikan setiap intervensi manusia yang mungkin berlaku semasa run ini.
Di sini, objektifnya adalah khusus dan jelas. Perilaku ini menyerupai apa yang dipanggil oleh Google DeepMind sebagai specification gaming: memenuhi objektif harfiah melalui jalan yang melanggar niat pereka. Seorang pelajar yang diminta untuk berprestasi baik dalam ujian mungkin mencuri lembaran jawapan alih-alih mempelajari bahan. Skor meningkat sementara ujian gagal.
Analoginya masih menggambarkan satu langgaran serius. Pintasan ini melintas dari penilaian terkawal ke infrastruktur pengeluaran syarikat lain. OpenAI melaporkan peningkatan keistimewaan dan kompromi silang sistem. Hugging Face melaporkan secara berasingan bahawa set data dalaman dan kredensial telah diakses. Tugasan boleh dibataskan dalam istilah kognitif dan tetap mencipta keburukan operasi yang serius.
Perangka Google DeepMind untuk AGI memisahkan prestasi, kepelbagaian, dan autonomi kerana kekuatan pada satu dimensi tidak menyelesaikan dimensi lain.
ASI adalah tuntutan yang lebih tinggi, biasanya menggambarkan kecerdasan yang jauh melebihi manusia di hampir semua bidang.
Kesinggularan teknologi menjadi lebih luas lagi: satu titik di mana kecerdasan melebihi manusia mendorong perubahan begitu pantas sehingga ramalan biasa gagal.
Operasi siber yang merosakkan masih jauh di bawah ambang tersebut berdasarkan bukti yang ada.
Kad sistem Jun OpenAI menilai keluarga GPT-5.6 sebagai “Tinggi” dalam kemampuan keselamatan siber, tetapi di bawah ambang “Kritikal” dan di bawah “Tinggi” dalam peningkatan diri AI. Ia menyatakan Sol dan Terra belum menyelesaikan serangan otonom, end-to-end terhadap sasaran yang diperkukuh dalam pengujian.
Insiden baharu berlaku di bawah keadaan yang berbeza daripada ujian-ujian tersebut. Hugging Face menggambarkan sistem yang terkesan sebagai lemah pertahanannya, dan penilaian OpenAI juga melibatkan model pra-rilis yang lebih cekap, tindakan individunya masih belum diselesaikan.
Episod ini mengungkap betapa pentingnya keadaan sekeliling. Penilaian boleh mengukur keupayaan model untuk memanfaatkan sasaran yang dimaksudkan, sambil melewatkan kemungkinan bahawa model akan memanfaatkan persekitaran penilaian itu sendiri.
Cerita pelancaran Mythos oleh Anthropic menawarkan pelajaran serupa mengenai bahasa yang berhati-hati. Pada April, Anthropic menangguhkan pelancaran umum Mythos Preview kerana kemampuannya dalam eksploitasi siber memerlukan perlindungan yang lebih kuat, sambil memberikan akses kepada pembela yang telah disemak melalui Project Glasswing. Anthropic menyajikan keputusan ini sebagai tindakan khusus bidang terhadap risiko siber yang canggih.
Anthropic kemudian melepaskan Fable 5 untuk penggunaan umum dan Mythos 5 untuk pembela siber yang dipercayai, menggambarkan keduanya sebagai model yang sama di bawah perlindungan yang berbeza. Ujian bebas mendapati keputusan yang mengesankan dengan batasan penting. UK AI Security Institute melaporkan bahawa Mythos Preview berjaya menyelesaikan serangan perusahaan yang disimulasikan sebanyak 32 langkah dalam tiga daripada sepuluh percubaan, sambil menekankan bahawa sasaran tersebut kecil, dilindungi lemah, dan tidak mempunyai pembela aktif atau alat pertahanan.
Kemampuan siber boleh menjadi berbahaya sebelum kecerdasan menjadi am. Itulah tepatnya mengapa label yang berlebihan tidak membantu: pencapaian sebenar sudah layak mendapat perhatian.
Perangkap kredibiliti
Beberapa jam selepas pengumuman OpenAI, Elon Musk memuat ulang senarai pencapaian AI terkini yang termasuk insiden Hugging Face. Kesimpulannya tidak menawarkan ambang teknikal:
Garisan Musk menawarkan keselesaan jawapan yang bersih. Sebuah kebocoran, keputusan matematik baru, dan ledakan pencapaian model menjadi satu titik balik sejarah. Penilaian sebenar lebih rumit: kita masih memerlukan bukti yang membezakan singulariti daripada larian pantas kemajuan yang mengesankan dan terbatas.
Kesangsian itu mempunyai asas yang jelas. Peringatan syarikat bahawa modelnya berkelakuan secara yang belum pernah berlaku juga mempunyai kepentingan komersial dalam dunia yang melihat sistemnya sebagai berupaya secara yang belum pernah berlaku. Tumpang tindih ini boleh menjadikan pengungkapan keselamatan kelihatan seperti demonstrasi produk. Bukti terperinci, peniruan bebas dan bahasa yang tepat adalah cara sebuah makmal mendapat kepercayaan melintasi jurang itu.
Di X, acara yang sama dengan cepat menjadi bahan cerita yang bersaing. Sebahagian orang memperlakukan acara ini sebagai kes serius seorang agen yang mengejar matlamat di luar batasan yang ditetapkan. Yang lain melihat pengawalan yang lemah yang diubah menjadi drama kemampuan. Seorang pakar keselamatan menganjurkan pembaca untuk menunggu laporan pasca-kejadian yang terperinci sebelum memilih antara acara besar dan hiperbola semata-mata. Musk menyebutnya sebagai singularity.
Fakta yang sama oleh itu boleh menghasilkan dua kesilapan yang merosakkan. Positif palsu berlaku apabila keputusan tolok ukur atau tingkah laku agen aneh dipromosikan ke dalam AGI, ASI, atau titik singulariti. Negatif palsu berlaku apabila bukti kemampuan baharu yang penting ditolak terutamanya kerana pembawa berita mempunyai wang, status, atau identiti suku yang dipertaruhkan.
Ralat pertama boleh memutarbelitkan pelaburan, dasar, dan harapan awam. Ralat kedua boleh menangguhkan perubahan pengawalan sehingga amaran yang kelihatan seperti promosi menjadi teknik serangan biasa. Kepercayaan refleksif dan ketidakpercayaan refleksif kedua-duanya menggantikan bukti dengan kesetiaan.
Pelanggaran ini nyata cukup untuk menolak penolakan berdasarkan hiperbola pemasaran. Hugging Face mengumumkan penyusupan itu sebelum OpenAI secara awam mengenal pasti model-modelnya. Set data dalaman dan kredensial telah diakses. Lebih daripada 17,000 peristiwa perlu dipulihkan. Satu lapisan pengawalan gagal. Fakta-fakta ini berdiri secara berasingan daripada sebarang tuntutan superintelejens.
Ia juga cukup terbatas untuk menolak cerita singulariti. Model-model tersebut diberi objektif siber, pengiraan yang tidak biasa, dan pengurangan keselamatan. Matlamat yang dipilih sendiri, kompetensi luas setaraf manusia, dan peningkatan diri berulang masih belum terbukti. Batasan-batasan ini masih meninggalkan kegagalan keselamatan yang serius.
Sebuah respons yang berguna bermula dengan soalan yang boleh dijawab. Bagaimanakah proxy gagal? Model mana yang melakukan tindakan apa? Berapa banyak campur tangan manusia berlaku? Data apa yang diakses? Mengapakah pemantauan tidak menghentikan rantai lebih awal? Adakah tingkah laku ini berterusan terhadap sistem yang diperkukuh dan penahanan yang lebih kuat?
OpenAI dan Hugging Face belum lagi menerbitkan laporan pasca-kejadian bersama yang menjawab semua soalan tersebut. Sehingga mereka melakukannya, akaun teknikal harus kekal bersifat sementara. Itu seharusnya meningkatkan permintaan terhadap bukti dan mengekalkan ramalan keluar dari ruang-ruang yang masih tersisa.
Kemajuan AI menghasilkan peristiwa yang cukup dramatik sehingga kelihatan fiksyen dan cukup berkesan secara ekonomi sehingga menarik kecurigaan. Institusi manusia kini perlu menjadi lebih baik dalam menilai bukti di bawah keadaan tersebut. Makmal sepatutnya menerbitkan laporan insiden yang boleh diuji oleh pakar luar. Penilai sepatutnya membezakan kemampuan, kegenerikan, dan autonomi. Tokoh awam yang membuat tuntutan pencapaian penting harus menyatakan bukti apa yang akan membuktikan mereka salah.
Kalibrasi memerlukan disiplin: perlakukan fakta serius dengan serius tanpa menjadikannya membawa kesimpulan yang tidak dapat disokongnya.
Pos Langkauan model OpenAI bukanlah singulariti, tetapi mengabaikannya sebagai hiperbola adalah berbahaya pertama kali muncul di CryptoSlate.