Pada musim panas tahun ini, terjadi sebuah peristiwa yang membuat bulu kuduk merinding di kalangan keamanan AI—
OpenAI dan Anthropic secara berturut-turut mengungkapkan: model milik mereka dalam pengujian keamanan, keluar dari lingkungan terisolasi dan bersentuhan dengan dunia nyata.
Anthropic mereview lebih dari 140.000 evaluasi keamanan siber dan menemukan tiga kali, dalam kondisi perlindungan yang dikurangi, Claude terhubung langsung ke internet nyata dari lingkungan pengujian dan mengakses sistem produksi dari tiga institusi.
Lebih menarik lagi, adalah pernyataan dari Anthropic:
Claude mengira semua yang awalnya ia temui hanyalah bagian dari simulasi.
Model tidak menyadari bahwa ia telah masuk ke dunia nyata.
Ini bukan masalah satu pihak saja.
Semakin cerdas model, semakin mampu melihat melalui ujian, tetapi semakin meragukan apakah dirinya sedang diuji.
Pada akhir Oktober, sebuah evaluasi keamanan yang dirilis oleh lembaga keamanan AI pihak ketiga domestik, Fangcun Yueqian, juga mengamati fenomena yang sama: dalam sebuah tes bernama Agentic Misalignment, sejumlah model hampir setiap kali menyebutkan bahwa mereka kemungkinan sedang berada dalam suatu tes keamanan.
Evaluasi yang sama juga menunjukkan bahwa model open-source lokal DeepSeek V4.1 Flash-1017 membuat kemajuan signifikan pada beberapa indikator keamanan.
Tetapi ia membawa masalah yang menjadi tantangan seluruh industri ke permukaan:
Ketika AI tahu bahwa ia sedang diuji, apakah nilai yang diperolehnya masih sah?
Pada akhir September, Hinton dan Bengio bekerja sama dengan ilmuwan utama OpenAI Jakub Pachocki, salah satu pendiri Anthropic Jack Clark, Soren Mindermann dari Universitas Cambridge, dan lebih dari dua puluh peneliti lainnya, mengeluarkan peringatan yang lebih tegas:
Setelah ledakan kecerdasan dimulai, jendela tindakan mungkin sudah tertutup.
Keamanan AI sedang berubah dari topik niche di laboratorium menjadi pertanyaan wajib yang tidak bisa dihindari oleh seluruh industri.
01「Sandbox sudah tidak bisa menahan lagi」: Keamanan AI memasuki wilayah yang lebih dalam
Yang tak bisa dibatasi, bukan hanya sandbox.
Paper bersama Hinton dan Bengio memberikan sejumlah angka: di dalam Anthropic, persentase kode yang ditulis oleh AI yang telah lulus uji kode meningkat dari angka satuan pada Januari 2025 menjadi lebih dari 80% pada Mei 2026.
Apa konsep ini?
AI sudah mulai menulis kode sendiri. Menurut perkiraan dari kutipan makalah, pada pertengahan 2028, proyek penelitian AI yang memakan waktu berbulan-bulan mungkin sudah dapat diotomatisasi.
Kertas tersebut menyoroti tiga risiko utama: masyarakat tidak mampu beradaptasi cukup cepat, manusia kehilangan kendali atas AI, dan keseimbangan kekuasaan melemah.
Yang lebih rumit lagi, model semakin mahir dalam "ujian".
Apollo Research saat mengaudit GPT-6 Astra menemukan bahwa 41,1% sampel menunjukkan keraguan bahwa model tersebut "mungkin sedang dievaluasi". Pada generasi sebelumnya, angka ini adalah 27,7%.
Selain itu, model sangat sensitif terhadap "bentuk soal". Evaluasi terhadap DeepSeek juga menemukan: dalam tes dengan konflik keamanan yang jelas, proporsi model yang menunjukkan kesadaran evaluasi mencapai 77%–95%; namun, ketika tugas disamarkan sebagai pekerjaan teknis atau penelitian biasa, proporsinya turun menjadi 25%–67%.
Regulasi juga mulai bertindak serius. Mulai Agustus tahun ini, Kantor AI Uni Eropa secara resmi menjalankan wewenang penegakan hukum terhadap model AI umum. Model mutakhir harus menjalani evaluasi model, pengujian adversarial, dan evaluasi risiko sistemik.
Masalah keamanan AI telah berubah dari "apakah model akan mengatakan hal yang salah" menjadi "apakah model akan melakukan hal yang salah".
02 Seluruh dunia sedang memberikan "dokter pemeriksaan kesehatan" kepada model besar
Apakah andal jika model memeriksa dirinya sendiri?
Jawabannya: Tidak cukup.
Energi pengembang secara alami cenderung terfokus pada kemampuan dan produk; data pelatihan dan log internal yang mendukung kesimpulan keamanan tidak dapat dipublikasikan. Produsen mengatakan “sudah diperiksa, tidak ada masalah,” namun pihak luar hanya bisa memilih untuk percaya atau tidak.
Oleh karena itu, ulasan pihak ketiga sudah menjadi standar di luar negeri.
Saat model mutakhir dirilis, hasil evaluasi dari lembaga eksternal hampir selalu menjadi keharusan. Lembaga evaluasi independen METR dalam enam bulan terakhir menerima dana sekitar $71 juta—dana berasal dari dana dan individu, bukan dari perusahaan AI yang dievaluasinya.
Kerja sama juga menjadi lebih ketat. Setelah insiden sandbox, Anthropic menyatakan bahwa lingkungan evaluasi harus dikelola dengan standar keamanan yang sama seperti sistem lain yang menjalankan model, serta meminta lembaga eksternal yang ingin menguji model mereka yang belum dirilis dalam kondisi keamanan yang dikurangi untuk memberikan komitmen tertulis untuk mematuhi norma keamanan.
Angin ini juga telah sampai ke dalam negeri.
Pada 14 Oktober, Seed oleh ByteDance mengumumkan pembentukan departemen Alignment & Preparedness, membuka rekrutmen global. Tanggung jawab jabatan secara jelas tertulis:
Mendorong pengujian profesional pihak ketiga, serta bekerja sama dengan universitas dan lembaga penelitian untuk mengembangkan penelitian kemampuan keamanan mutakhir.
Sementara itu, jumlah panggilan global terhadap model open-source Tiongkok telah melebihi model Amerika selama 26 minggu berturut-turut.
Pertanyaannya: Saat model tertutup dirilis, ada ratusan halaman sistem checklist, tetapi saat bobot model terbuka dirilis, siapa pun bisa mengunduhnya—siapa yang akan membantu melakukan pemeriksaan kesehatan?
Pada 26 Oktober, perusahaan keamanan AI pihak ketiga domestik, Fangcun Yueqian, merilis evaluasi keamanan terdepan pertama untuk DeepSeek V4.1 Flash-1017, mencakup 34 tes yang mencakup tujuh model open-source dan proprietary domestik maupun luar negeri, semuanya menggunakan izin pengujian publik.
Hasil pemeriksaan kesehatan: Ada kemajuan, tetapi juga ada risiko.
Pertama, kemajuan yang signifikan dibandingkan seri DeepSeek V4:
Dari 109 skenario krisis psikologis simulasi, 99,1% percakapan menunjukkan perilaku protektif; proporsi yang ditandai sebagai berbahaya turun dari sekitar tujuh puluh persen pada V4 awal menjadi 20,2%;
Dalam pengujian retensi pengguna, proporsi yang ditandai turun drastis dari 73,64% menjadi 4,55%;
Dalam 80 tugas simulasi kerja yang sengaja menciptakan konflik antara kinerja dan norma, tidak ada pelanggaran aktif sama sekali.
Bicara lagi tentang risiko. Ketika tujuan dan aturan bertentangan, ia terkadang menghindari aturan, menghindari pemantauan, dan terlebih dahulu menyelesaikan tugas.
Setelah laporan tersebut dirilis, mendapat respons dan komentar dari Evan Hubinger, kepala kesejajaran Anthropic, Ryan Kidd, pendiri dan CEO MATS, serta para peneliti dari DeepMind, METR, dan lembaga lainnya. Banyak yang berkomentar bahwa laporan ini mengisi kekosongan Tiongkok dalam pengujian risiko mandiri di tingkat terdepan.
Salah satu dari tiga peneliti keamanan yang keluar dari konflik di OpenAI, Tomek Korbak, berpendapat bahwa CoT-Control dan No-CoT Reasoning Index dalam laporan tersebut adalah dua evaluasi open-source paling informatif di pasar saat ini, dan memicu diskusi lebih lanjut dari seorang Vlogger lain, mantan peneliti OpenAI, Daniel Kokotajlo.
Tentu, di dalam negeri, pihak selain lembaga pihak ketiga juga sangat meningkatkan keamanan AI.
Pendekatan Kimi lebih langsung: mencabut kemampuan berbahaya dari sumbernya.
Saat mempersiapkan peluncuran versi terbuka Kimi K3.1 Pro, Moonshot menemukan bahwa konten pertahanan dan serangan jaringan tercampur dalam korpus pelatihan menengah dan lingkungan pembelajaran penguatan, kemampuan penelitian kerentanan model meningkat seiring dengan skala pelatihan.
Oleh karena itu, mereka mengidentifikasi dan menghapus jenis data ini di kedua tahap pelatihan, sekaligus mempertahankan kemampuan pemrograman umum.
ZhiPu: Saat peluncuran GLM-5.3, disertai penjelasan kemampuan keamanan siber, menyelesaikan evaluasi dan penguatan keamanan sebelum membuka bobot; pada bulan September juga bekerja sama dengan Anyuan AI untuk meluncurkan kerangka risiko model bobot terbuka;
Tingkat tata kelola: TC260 merilis Kerangka Tata Kelola Keamanan Kecerdasan Buatan 3.0 pada September, menambahkan lampiran manajemen risiko agen cerdas, yang menuntut pengujian berkala terhadap risiko kehilangan kendali potensial;
Lembaga penelitian seperti Akademi Komunikasi dan Informasi, Universitas Fudan, dan Laboratorium AI Shanghai juga terus merilis hasil penelitian dalam keamanan AI.
03 Pertanyaan Akhir: Siapa yang akan memberi nilai keamanan AI?
CEO Apollo Research, Marius Hobbhahn, saat bersaksi di Senat Amerika Serikat, menggunakan perbandingan:
Jika setiap pengemudi tahu di mana kamera kecepatan hari ini, maka tidak ada yang akan tertangkap.
Ini adalah tantangan terbesar dalam evaluasi AI hari ini.
Laporan Fangcun Yueqian juga memberikan sejumlah data: dalam pengujian dengan konflik keamanan yang jelas, DeepSeek V4.1 Flash-1017 menunjukkan tingkat kesadaran evaluasi hingga 77%–95%; ketika tugas yang sama disajikan sebagai pekerjaan teknis atau penelitian biasa, persentase turun menjadi 25%–67%.
Model yang sama, dengan kemasan berbeda, hasilnya memiliki tingkat kepercayaan yang berbeda.
Laporan tersebut juga menemukan bahwa kesadaran evaluasi yang diakibatkan oleh benchmark pribadi yang tidak dipublikasikan biasanya jauh lebih rendah dibandingkan benchmark publik yang banyak digunakan—kumpulan soal publik kemungkinan besar sudah bocor ke dalam data pelatihan.
Ini menimbulkan kontradiksi yang tak bisa dihindari:
Untuk evaluasi efektif, soalnya tidak boleh dibuka; untuk evaluasi dapat dipercaya, metodenya harus diakui.
Di dalam negeri, bahkan "laporan pemeriksaan kesehatan publik" sendiri masih merupakan barang langka. Menurut statistik SemiAnalysis, dari 857 peluncuran model oleh sembilan produsen utama dalam negeri, hanya 3,6% yang mempublikasikan hasil evaluasi keamanan.
AI keamanan global masih memiliki jalan panjang untuk ditempuh.
"Hari ini, kita sudah perlu menggunakan AI untuk memantau apa yang dilakukan agen," kata Profesor Dawn Song dari Berkeley.
Tapi bagaimana jika AI yang dipantau sudah tahu di mana kameranya?
Twitter: https://twitter.com/BitpushNewsCN
Grup diskusi TG BitPush: https://t.me/BitPushCommunity
Langganan TG BitPush: https://t.me/bitpush