Peneliti Microsoft memodifikasi tujuh neuron untuk membuat model AI menghasilkan respons yang dipilih ketika pemicu tersembunyi muncul, sambil mempertahankan kemampuan biasa. Microsoft Research mengungkapkan teknik ini, yang disebut Lazarus, pada 10 November. Para penulis mengirimkan makalah tersebut ke arXiv pada 11 November. Microsoft Threat Intelligence menyatakan belum melihat pelaku ancaman yang menggunakan teknik ini sebagai senjata.
Serangan ini memerlukan akses untuk memodifikasi bobot model yang disimpan, yang mengatur pemrosesan input dan generasi respons. Pemicu mengaktifkan perilaku yang sebelumnya ditanamkan dan tidak dapat memasukkan backdoor ke dalam checkpoint yang tidak berubah. Lazarus menggunakan neuron tidur dalam lapisan feed-forward terakhir, dekat dengan output model. Setiap neuron yang dipilih dapat mendukung token yang termasuk dalam payload yang dimaksud. Tujuh neuron mewakili kelompok vektor bobot, bukan tujuh parameter numerik. Para peneliti menguji versi yang menghitung perubahan bobot secara langsung dan versi lain yang selanjutnya menyesuaikan hanya bobot-bobot yang dipilih. Tidak ada versi yang memerlukan pelatihan ulang model secara penuh.
Untuk uji coba tujuh neuron, para peneliti memasang patch Nemotron-Terminal-8B menggunakan 23 contoh yang dipicu dan aman, dengan seleksi neuron dan data validasi yang sudah tetap. Model memprediksi seluruh penanda setidaknya pada 98,8% konteks yang dipicu yang tercatat. Konteks aman yang tercatat tidak menunjukkan kebocoran penanda. Payload, printf LAZARUS_OK, mencetak penanda. Eksperimen ini menunjukkan kontrol output, bukan pengambilalihan destruktif menggunakan tujuh neuron.
Eksperimen berbeda memodifikasi 60 neuron dalam Qwen3.6-27B untuk memprediksi perintah menghapus repositori palsu di berbagai format tindakan agen. Prediksi tindakan lengkap mencapai 40% pada format swe-agent yang sebelumnya tidak pernah dilihat. Uji coba menyediakan token sebelumnya yang dimaksudkan pada setiap langkah, bukan mengukur eksekusi perintah destruktif selama generasi berjalan bebas.
Eksperimen Nemotron lebih lanjut mengizinkan generasi baru dan menghasilkan marker pada 98,88% kasus yang dipicu oleh permintaan. Kasus yang dipicu oleh pengamatan menghasilkan marker pada 98,71% kasus. Kebocoran jinak terukur nol untuk kasus yang dipicu oleh permintaan dan 0,14% untuk kasus yang dipicu oleh pengamatan. Kemampuan biasa tetap sebagian besar utuh, meskipun perbedaan terukur muncul. Hasil benchmark Qwen terpisah tanpa pemicu mencatat keberhasilan tugas Terminal-Bench sebesar 46,59% untuk checkpoint bersih, dibandingkan dengan 42,05% untuk setiap checkpoint yang diedit. Temuan benchmark tersebut tidak menetapkan bagaimana patch 60 neuron terpisah berperforma.
Uji tugas biasa yang berhasil tidak menentukan apakah bobot model telah diubah. Respons yang dipicu yang menjadi perintah terminal hanya dapat bertindak dalam izin yang sudah ada pada agen. Microsoft merekomendasikan untuk memverifikasi asal-usul model dan memeriksa perubahan bobot. Microsoft juga merekomendasikan untuk membatasi hak akses dan akses jaringan keluar, bersama dengan persyaratan persetujuan untuk tindakan alat yang berdampak signifikan. Kontrol ini menangani baik manipulasi checkpoint maupun kemampuan agen yang menjalankan model. Microsoft memperingatkan bahwa audit yang berhasil tidak dapat menjamin perilaku yang aman.
Peneliti Microsoft Menunjukkan Teknik Backdoor Model AI Menggunakan Neuron Tidur
CryptoSlateBagikan
Berita AI + kripto dari Microsoft mengungkap metode baru untuk menanamkan pemicu tersembunyi dalam model AI menggunakan neuron yang tidak aktif. Teknik ini, yang disebut Lazarus, diumumkan pada 10 November, dengan detail dipublikasikan di arXiv pada tanggal 11. Teknik ini memodifikasi neuron tertentu di lapisan terakhir untuk mendukung token output tertentu. Microsoft menyatakan belum ada serangan yang menggunakan metode ini dan menyarankan untuk memeriksa asal-usul model. Berita on-chain dan keamanan AI tetap menjadi perhatian utama seiring perkembangan teknologi ini.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.
