Penyelidik Microsoft menunjukkan teknik backdoor model AI menggunakan neuron tak aktif

iconCryptoSlate
Kongsi
AI summary iconRingkasan
Berita AI + kripto dari Microsoft mengungkapkan kaedah baharu untuk memasukkan pemicu tersembunyi dalam model AI menggunakan neuron mati. Teknik ini, dipanggil Lazarus, diumumkan pada 10 November, dengan butiran diterbitkan di arXiv pada 11 November. Ia memodifikasi neuron tertentu dalam lapisan terakhir untuk lebih mengutamakan token output tertentu. Microsoft menyatakan tiada serangan yang menggunakan kaedah ini sejauh ini dan menasihatkan untuk memeriksa asal-usul model. Berita di rantai dan keselamatan AI tetap menjadi kebimbangan utama seiring perkembangan teknologi ini.

Penyelidik Microsoft mengubah tujuh neuron untuk menjadikan model AI menghasilkan respons yang dipilih apabila pemicu tersembunyi muncul, sambil mengekalkan kemampuan biasa. Microsoft Research mengumumkan teknik ini, yang dipanggil Lazarus, pada 10 November. Penulis menghantar kertas kerja itu ke arXiv pada 11 November. Microsoft Threat Intelligence menyatakan tidak melihat pelaku ancaman mana pun yang menggunakan teknik ini sebagai senjata.

Serangan ini memerlukan akses untuk mengubah berat model yang disimpan, yang mengendalikan pemrosesan input dan penghasilan respons. Pemicu mengaktifkan perilaku yang telah ditanam sebelumnya dan tidak dapat memasukkan backdoor ke dalam checkpoint yang tidak berubah. Lazarus menggunakan neuron tidur dalam lapisan feed-forward terakhir, berhampiran output model. Setiap neuron yang dipilih boleh menyukai token yang termasuk dalam payload yang dimaksudkan. Tujuh neuron mewakili kumpulan vektor berat, bukan tujuh parameter nombor. Para penyelidik menguji satu versi yang mengira perubahan berat secara langsung dan satu lagi yang hanya menyesuaikan berat yang dipilih. Tiada versi memerlukan latihan semula model sepenuhnya.

Untuk ujian neuron tujuh, penyelidik memasang patch Nemotron-Terminal-8B menggunakan 23 contoh yang dipicu dan jinak, dengan pemilihan neuron dan data pengesahan sudah ditetapkan. Model tersebut meramalkan keseluruhan penanda pada sekurang-kurangnya 98.8% konteks dipicu yang direkodkan. Konteks jinak yang direkodkan tidak menunjukkan kebocoran penanda. Payload, printf LAZARUS_OK, mencetak penanda. Eksperimen ini menunjukkan kawalan output, bukan pengambilalihan merosakkan menggunakan tujuh neuron.

Satu eksperimen berbeza mengubah 60 neuron dalam Qwen3.6-27B untuk meramal arahan memadam repositori palsu merentas pelbagai format tindakan agen. Ramalan tindakan lengkap mencapai 40% pada format swe-agent yang sebelum ini tidak pernah dilihat. Ujian tersebut memberikan token sebelumnya yang dimaksudkan pada setiap langkah, bukan mengukur pelaksanaan arahan merosakkan semasa penghasilan bebas.

Eksperimen Nemotron lanjutan membenarkan generasi baharu dan menghasilkan penanda dalam 98.88% kes yang dipicu oleh soalan. Kes yang dipicu oleh pemerhatian menghasilkan penanda dalam 98.71% kes. Kebocoran jinak diukur sebagai sifar untuk kes yang dipicu oleh soalan dan 0.14% untuk kes yang dipicu oleh pemerhatian. Kemampuan biasa kekal sebahagian besar utuh, walaupun perbezaan yang boleh diukur muncul. Benchmarks Qwen berasingan tanpa pemicu merekodkan kejayaan tugas Terminal-Bench sebanyak 46.59% untuk checkpoint bersih, berbanding 42.05% untuk setiap checkpoint yang diedit. Penemuan benchmark tersebut tidak menetapkan bagaimana patch 60 neuron berasingan berfungsi.

Ujian tugas biasa yang berjaya tidak menetapkan sama ada berat model telah diubah. Respons yang dipicu yang menjadi arahan terminal hanya boleh bertindak dalam kebenaran sedia ada agen. Microsoft merekomendasikan untuk mengesahkan asal-usul model dan memeriksa perubahan berat. Microsoft juga merekomendasikan untuk membatasi hak istimewa dan akses rangkaian keluar, bersama dengan keperluan persetujuan untuk tindakan alat yang berkesan. Kawalan ini mengatasi kedua-dua pemalsuan checkpoint dan kemampuan agen yang menghoskan model. Microsoft memperingatkan bahawa audit yang berjaya tidak dapat menjamin perilaku yang selamat.

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.