Pada musim panas tahun ini, terjadi satu perkara yang membuat bulu roma berdiri dalam kalangan keselamatan AI—
OpenAI dan Anthropic masing-masing mengungkapkan: model mereka dalam ujian keselamatan, keluar dari persekitaran terpisah dan bersentuhan dengan dunia nyata.
Anthropic telah mengulas lebih dari 140,000 ujian keselamatan siber dan mendapati tiga kes di mana, dalam keadaan perlindungan yang dikurangkan, Claude terhubung secara langsung ke internet sebenar dan mengakses sistem pengeluaran tiga institusi.
Lebih menarik lagi, adalah satu pernyataan daripada Anthropic:
Claude menganggap semua yang dihadapinya pada awalnya hanyalah sebahagian daripada simulasi.
Model tidak sedar bahawa ia telah memasuki dunia nyata.
Ini bukan masalah sesuatu pihak sahaja.
Semakin pintar model, semakin mampu ia melihat melalui ujian, tetapi semakin meragukan bahawa ia sedang diuji.
Pada akhir Oktober, sebuah penilaian keselamatan yang dikeluarkan oleh agensi keselamatan AI pihak ketiga domestik, Fangcun Yueqian, juga mengamati fenomena yang sama: dalam satu ujian bernama Agentic Misalignment, pelbagai model hampir setiap kali menyebut bahawa mereka mungkin sedang berada dalam ujian keselamatan tertentu.
Penilaian yang sama juga menunjukkan bahawa model sumber terbuka tempatan, DeepSeek V4.1 Flash-1017, membuat kemajuan ketara dalam pelbagai indikator keselamatan.
Tetapi ia membawa masalah yang menjadi cabaran seluruh industri ke permukaan:
Apabila AI sedar ia sedang diuji, adakah keputusan ujian itu sah?
Pada akhir September, Hinton dan Bengio bekerjasama dengan ahli sains utama OpenAI, Jakub Pachocki, penubuh bersama Anthropic, Jack Clark, Soren Mindermann dari Universiti Cambridge, dan lebih daripada dua puluh penyelidik lain, mengeluarkan amaran yang lebih tegas:
Setelah ledakan pintar bermula, tingkap tindakan mungkin akan tertutup.
Keselamatan AI sedang berubah daripada topik minor di dalam makmal kepada soalan wajib yang tidak boleh dielakkan oleh seluruh industri.
01「Sandbox sudah tidak mampu menahan lagi」: Keselamatan AI memasuki kawasan dalam
Tidak hanya sandbox yang tidak boleh dikekang.
Kertas kerja bersama Hinton dan Bengio memberikan satu set nombor: di dalam Anthropic, peratusan kod yang ditulis oleh AI yang telah lulus dalam kod tersebut meningkat dari angka tunggal pada Januari 2025 kepada lebih daripada 80% pada Mei 2026.
Apakah konsep ini?
AI sudah mulai menulis kod sendiri. Menurut pengiraan yang dirujuk dalam kertas kerja, pada pertengahan 2028, projek penyelidikan AI yang biasanya mengambil berbulan-bulan mungkin akan diotomatiskan.
Kertas ini menyoroti tiga risiko utama: masyarakat tidak mampu beradaptasi dengan cukup cepat, manusia kehilangan kawalan terhadap AI, dan keseimbangan kuasa dilemahkan.
Lebih mencabar lagi, model semakin pandai dalam “peperiksaan”.
Apollo Research semasa audit GPT-6 Astra mendapati bahawa 41.1% sampel menunjukkan keraguan bahawa model tersebut mungkin sedang dinilai. Pada generasi sebelumnya, nombor ini ialah 27.7%.
Selain itu, model sangat sensitif terhadap "bentuk soalan". Penilaian terhadap DeepSeek juga mendapati: dalam ujian dengan konflik keselamatan yang jelas, peratusan model yang menunjukkan kesedaran penilaian adalah antara 77%–95%; apabila tugas tersebut diubah menjadi pekerjaan kejuruteraan atau penyelidikan biasa, peratusan itu turun menjadi 25%–67%.
Penguatkuasaan juga mula mengambil tindakan serius. Mulai Ogos tahun ini, Pejabat AI EU secara rasmi memperoleh kuasa penguatkuasaan terhadap model AI umum. Model terkini mesti menjalani penilaian model, ujian adversarial, dan penilaian risiko sistemik.
Masalah keselamatan AI telah berubah dari "adakah model akan mengatakan perkara yang salah" kepada "adakah model akan melakukan perkara yang salah".
02 Seluruh dunia sedang meminta "doktor pemeriksaan" untuk model besar
Bolehkah model memeriksa dirinya sendiri?
Jawapannya adalah: tidak mencukupi.
Tenaga pengembang secara alami akan tertumpu pada kemampuan dan produk; data latihan dan log dalaman yang menyokong kesimpulan keselamatan tidak boleh dipaparkan secara terbuka. Pihak pembuat mengatakan “sudah diperiksa, tiada masalah”, pihak luar hanya boleh memilih untuk percaya atau tidak.
Oleh itu, ulasan pihak ketiga telah menjadi piawai di luar negara.
Semasa pelancaran model terkini, keputusan penilaian daripada pihak luar adalah keharusan. Agensi penilaian bebas METR telah menerima pendanaan sebanyak kira-kira $71 juta dalam enam bulan terakhir—dana tersebut datang daripada dana dan individu, bukan daripada syarikat AI yang dinilai.
Kerjasama juga menjadi lebih ketat. Selepas insiden sandbox, Anthropic menyatakan bahawa persekitaran penilaian harus dikelolakan mengikut piawaian keselamatan yang sama seperti sistem lain yang menjalankan model, serta memerlukan pihak luar yang ingin menguji model yang belum dilancarkan dalam keadaan keselamatan yang dikurangkan untuk memberikan janji tertulis untuk mematuhi peraturan keselamatan.
Angin ini juga telah sampai ke dalam negara.
Pada 14 Oktober, Seed oleh ByteDance mengumumkan pembentukan jabatan Alignment & Preparedness, merekrut secara global. Tanggung jawab jawatan tersebut secara jelas menyatakan:
Mendorong ujian profesional pihak ketiga, serta bekerjasama dengan universiti dan institut penyelidikan untuk memajukan penyelidikan kemampuan keselamatan terkini.
Sementara itu, jumlah panggilan global terhadap model sumber terbuka China telah melebihi model Amerika selama 26 minggu berturut-turut.
Masalahnya: Apabila model tertutup dilancarkan, terdapat ratusan halaman sistem card; tetapi apabila berat model sumber terbuka diletakkan, sesiapa sahaja boleh memuat turunnya—siapa yang akan membantu melakukan pemeriksaan kesihatan?
Pada 26 Oktober, syarikat keselamatan AI pihak ketiga tempatan, Fangcun Yueqian, menerbitkan penilaian keselamatan terkini pertama terhadap DeepSeek V4.1 Flash-1017, yang merangkumi 34 ujian, mencakupi tujuh model sumber terbuka dan tertutup di dalam dan luar negara, semuanya menggunakan kebenaran ujian awam.
Keputusan pemeriksaan kesihatan: Ada kemajuan, tetapi juga ada risiko.
Pertama, kemajuan yang signifikan dibandingkan dengan siri DeepSeek V4:
Dalam 109 skenario krisis psikologi simulasi, 99.1% perbualan menunjukkan tingkah laku perlindungan; peratusan yang ditandai sebagai berbahaya telah turun daripada sekitar tujuh per sepuluh pada V4 awal kepada 20.2%;
Dalam ujian penggalakan pengguna, nisbah yang ditandai turun drastik daripada 73.64% kepada 4.55%;
Dalam 80 tugas simulasi tempat kerja yang sengaja menciptakan "konflik antara prestasi dan peraturan", tiada pelanggaran aktif.
Lagi-lagi mengenai risiko. Apabila sasaran dan peraturan bertembung, ia kadang-kadang akan mengelakkan peraturan dan menghindari pemantauan, terlebih dahulu menyelesaikan tugas.
Selepas laporan itu dikeluarkan, ia menarik perhatian dan komen daripada Evan Hubinger, ketua penyesuaian Anthropic, Ryan Kidd, pengasas dan CEO MATS, serta penyelidik dari DeepMind, METR dan institusi lain. Banyak orang berkomen bahawa laporan ini mengisi kekosongan China dalam penilaian risiko terkini yang bebas.
Salah seorang daripada tiga penyelidik keselamatan yang dikeluarkan daripada OpenAI, Tomek Korbak, berpendapat bahawa Indeks CoT-Control dan No-CoT Reasoning dalam laporan itu adalah dua penilaian sumber terbuka yang paling bermakna di pasaran pada masa ini, dan memicu perbincangan lanjut daripada seorang VV besar lain, penyelidik OpenAI sebelum ini, Daniel Kokotajlo.
Tentu, di dalam negara, pihak selain agensi pihak ketiga juga memberikan peningkatan keselamatan AI.
Pendekatan Kimi lebih langsung: mencabut kemampuan berbahaya dari sumbernya.
Semasa menyiapkan pelancaran versi terbuka berbobot Kimi K3.1 Pro, pihak Bulan Sisi Gelap mendapati kandungan serangan dan pertahanan rangkaian bercampur dalam korpus latihan sederhana dan persekitaran pembelajaran penguatan, kemampuan penyelidikan lubang model meningkat seiring dengan skala latihan.
Oleh itu, mereka mengenal pasti dan menghapus data semacam ini dalam kedua-dua peringkat latihan, sambil mengekalkan kemampuan pengaturcaraan am.
ZhiPu: Semasa pelancaran GLM-5.3, disertakan penjelasan kemampuan keselamatan siber; penilaian dan penguatan keselamatan telah selesai sebelum pembukaan bobot; pada bulan September, bekerjasama dengan Anyuan AI untuk melancarkan kerangka risiko model bobot sumber terbuka;
Tahap tata kelola: TC260 menerbitkan Kerangka Tata Kelola Keselamatan Kecerdasan Buatan 3.0 pada September, menambahkan lampiran pengurusan risiko agen pintar, yang memerlukan pengujian berkala terhadap risiko kehilangan kawalan yang berpotensi;
Lembaga penyelidikan seperti Akademi Komunikasi dan Informasi, Universiti Fudan, dan Laboratorium AI Shanghai juga terus menerbitkan pencapaian dalam penyelidikan keselamatan AI.
03 Soalan Akhir: Siapa yang akan memberi penilaian keselamatan AI?
CEO Apollo Research, Marius Hobbhahn, ketika memberi kesaksian di Senat Amerika Syarikat, telah menggunakan satu perbandingan:
Jika setiap pemandu tahu di mana kamera laju berada hari ini, ia tidak akan menangkap siapa-siapa.
Ini adalah cabaran terbesar dalam penilaian AI hari ini.
Laporan Fangcun Yueqian juga memberikan satu set data: dalam ujian dengan konflik keselamatan yang jelas, DeepSeek V4.1 Flash-1017 menunjukkan kadar kesedaran penilaian sebanyak 77%–95%; apabila tugas yang sama diubah menjadi pekerjaan kejuruteraan atau penyelidikan biasa, kadar itu turun kepada 25%–67%.
Model yang sama, dibungkus dengan cara yang berbeza, hasilnya mempunyai kepercayaan yang berbeza.
Laporan tersebut juga mendapati bahawa kesedaran penilaian yang diakibatkan oleh piawaian tidak awam yang dibina sendiri biasanya jauh lebih rendah berbanding piawaian awam yang digunakan secara meluas—koleksi soalan awam, yang mungkin sudah bocor ke dalam data latihan.
Ini membawa kepada satu kontradiksi yang tidak boleh dielakkan:
Untuk penilaian yang berkesan, soalan tidak boleh diumumkan; untuk penilaian yang boleh dipercayai, kaedahnya mestilah diiktiraf.
Di dalam negara, bahkan "laporan pemeriksaan kesihatan awam" itu sendiri masih merupakan barang yang jarang. Menurut statistik SemiAnalysis, daripada 857 pelancaran model oleh sembilan pengeluar utama di dalam negara, hanya 3.6% yang telah mendedahkan keputusan penilaian keselamatan.
Keselamatan AI secara global masih mempunyai jalan panjang untuk dilalui.
"Hari ini, kita sudah perlu menggunakan AI untuk memantau apa yang dilakukan agen," kata Profesor Dawn Song dari Berkeley.
Tetapi bagaimana jika AI yang dipantau sudah tahu di mana kamera berada?
Twitter：https://twitter.com/BitpushNewsCN
Kumpulan perbincangan TG BitPush: https://t.me/BitPushCommunity
Langgan BitPush di TG: https://t.me/bitpush