Peneliti Microsoft Memodifikasi Tujuh Neuron untuk Memicu Respons AI

iconNS3
Bagikan
AI summary iconRingkasan
Berita AI + kripto dari Microsoft: Para peneliti mengembangkan Lazarus, sebuah metode yang memodifikasi tujuh neuron dalam model AI untuk memicu output yang telah ditentukan. Diperkenalkan pada 10 November, teknik ini berfungsi pada model seperti Nemotron-Terminal-8B dan Qwen3.6-27B. Microsoft menyatakan tidak ada laporan penggunaan jahat. Para ahli berita on-chain merekomendasikan untuk memverifikasi asal-usul model dan membatasi akses untuk mengurangi risiko.

Peneliti Microsoft memodifikasi tujuh neuron untuk membuat model AI menghasilkan respons yang dipilih ketika pemicu tersembunyi muncul, sambil mempertahankan kemampuan biasa. Microsoft Research mengungkapkan teknik tersebut, yang disebut Lazarus, pada 10 November. Para penulis mengirimkan makalah tersebut ke arXiv pada 11 November. Microsoft Threat Intelligence menyatakan belum melihat pelaku ancaman yang menggunakan teknik ini sebagai senjata.

Serangan ini memerlukan akses untuk memodifikasi bobot model yang disimpan, yang mengatur pemrosesan input dan generasi respons. Pemicu mengaktifkan perilaku yang sebelumnya ditanamkan dan tidak dapat memasukkan backdoor ke dalam checkpoint yang tidak berubah. Lazarus menggunakan neuron diam dalam lapisan feed-forward terakhir, dekat dengan output model. Setiap neuron yang dipilih dapat mendukung token yang termasuk dalam payload yang dimaksud. Tujuh neuron mewakili kelompok vektor bobot, bukan tujuh parameter numerik. Para peneliti menguji versi yang menghitung perubahan bobot secara langsung dan versi lain yang selanjutnya menyesuaikan hanya bobot yang dipilih. Tidak ada versi yang memerlukan pelatihan ulang model secara penuh.

Untuk uji coba tujuh neuron, para peneliti memasang patch Nemotron-Terminal-8B menggunakan 23 contoh yang dipicu dan jinak, dengan seleksi neuron dan data validasi yang sudah ditetapkan. Model memprediksi seluruh penanda setidaknya pada 98,8% konteks yang dipicu yang tercatat. Konteks jinak yang tercatat tidak menunjukkan kebocoran penanda. Payload, printf LAZARUS_OK, mencetak penanda. Eksperimen ini menunjukkan kontrol output, bukan pengambilalihan destruktif menggunakan tujuh neuron.

Eksperimen berbeda memodifikasi 60 neuron dalam Qwen3.6-27B untuk memprediksi perintah menghapus repositori palsu di berbagai format tindakan agen. Prediksi tindakan lengkap mencapai 40% pada format swe-agent yang sebelumnya tidak pernah dilihat. Uji coba menyediakan token sebelumnya yang dimaksudkan pada setiap langkah, bukan mengukur eksekusi perintah destruktif selama generasi berjalan bebas.

Eksperimen Nemotron lebih lanjut mengizinkan generasi baru dan menghasilkan marker pada 98,88% kasus yang dipicu oleh kueri. Kasus yang dipicu oleh observasi menghasilkan marker pada 98,71% kasus. Kebocoran jinak terukur nol untuk kasus yang dipicu oleh kueri dan 0,14% untuk kasus yang dipicu oleh observasi. Kemampuan biasa tetap sebagian besar utuh, meskipun perbedaan terukur muncul. Benchmark Qwen terpisah tanpa pemicu mencatat keberhasilan tugas Terminal-Bench sebesar 46,59% untuk checkpoint bersih, dibandingkan dengan 42,05% untuk setiap checkpoint yang diedit. Temuan benchmark tersebut tidak menetapkan bagaimana patch 60-neuron terpisah berperforma.

Uji tugas biasa yang berhasil tidak menetapkan apakah bobot model telah diubah. Respons yang dipicu yang menjadi perintah terminal hanya dapat bertindak dalam batas izin yang sudah ada pada agen. Microsoft merekomendasikan untuk memverifikasi asal-usul model dan memeriksa perubahan bobot. Microsoft juga merekomendasikan untuk membatasi hak akses dan akses jaringan keluar, serta persyaratan persetujuan untuk tindakan alat yang berdampak signifikan. Kontrol ini menangani baik manipulasi checkpoint maupun kemampuan agen yang menjalankan model. Microsoft memperingatkan bahwa audit yang berhasil tidak dapat menjamin perilaku yang aman.

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.