Peneliti dari Universitas Zhejiang telah mengungkapkan cara baru yang mencolok untuk merebut kendali sistem suara AI: sinyal audio yang tidak terdengar dan dapat dibaca mesin yang mengubah perilaku model, sambil tetap tidak terdengar oleh manusia. Teknik ini—yang disebut AudioHijack—dipresentasikan di Symposium IEEE ke-47 tentang Keamanan dan Privasi di San Francisco, dan dapat mengubah model audio-bahasa besar (LALMs) dengan tingkat keberhasilan hingga 96%, menurut tim peneliti. Apa yang dilakukan serangan ini - AudioHijack menyematkan perintah tersembunyi langsung ke dalam gelombang audio digital dengan memodifikasi nilai numerik cara yang tidak terdengar oleh manusia tetapi ditafsirkan oleh LALMs sebagai instruksi. - Sinyal adversarial ini bersifat konteks-agnostik: setelah sekitar setengah jam pelatihan, sinyal yang sama dapat diputar ulang bersama dengan ucapan sah apa pun dan tetap mengarahkan perilaku model, kata pemimpin penulis, Meng Chen. - Karena mengeksploitasi audio itu sendiri, bukan transkripsi teks, serangan ini menghindari banyak pertahanan yang dirancang untuk mendeteksi prompt teks jahat. Apa yang ditunjukkan oleh peneliti - Tim menguji AudioHijack pada 13 model suara AI open-source dan sistem suara komersial dari Microsoft dan Mistral yang menggunakan arsitektur serupa. - Audio yang dimanipulasi dapat membuat model menolak permintaan, menyebarkan informasi salah, menyisipkan tautan berbahaya, mengubah kepribadian, atau melakukan tindakan yang tidak pernah diminta pengguna—contohnya mencari web, mengunduh file, dan mengirim email yang bocorkan data pribadi. - Peneliti mencatat serangan ini dapat disampaikan melalui saluran umum seperti video daring, file musik, catatan suara, atau audio yang diambil dari panggilan Zoom dan diunggah ke layanan transkripsi AI. Pekerjaan lanjutan yang belum dipublikasikan dilaporkan menunjukkan serangan serupa dalam obrolan suara AI langsung. Mengapa ini berbeda dan lebih sulit dicegah - Serangan "prompt injection" tradisional mengubah apa yang dikatakan pengguna atau menyisipkan teks jahat. AudioHijack justru mengubah sinyal audio analog/digital sehingga manipulasi ini tidak terlihat oleh filter teks dan banyak perlindungan yang ada. - Memantau mekanisme perhatian internal model adalah pertahanan paling efektif yang diuji tim, tetapi penyerang adaptif dapat melemahkan manipulasi mereka untuk menghindari langkah penangkal ini sambil tetap mempertahankan sebagian besar kekuatan serangan. “Pertahanan titik-tunggal ini kesulitan melawan serangan kami karena kami menemukan sangat sulit bagi model-model ini untuk membedakan niat pengguna normal dan serangan adversarial kami,” kata Chen. Mengapa platform kripto harus peduli - Seiring meningkatnya eksperimen layanan kripto terhadap fitur berbasis suara—akses dompet berbasis suara, asisten perdagangan, alur kerja dukungan pelanggan, atau otentikasi suara—AudioHijack menyoroti permukaan serangan baru yang bisa disalahgunakan untuk phishing, rekayasa sosial, atau memicu tindakan tak diinginkan di sistem terhubung. - Meskipun studi ini tidak menunjukkan pencurian spesifik kripto, layanan apa pun yang menerima perintah lisan atau mengolah audio berisiko jika antarmuka suara dipercaya untuk operasi sensitif. Vektor pengiriman seperti video, musik, atau rekaman panggilan adalah saluran yang umum digunakan dalam penipuan. Pembelajaran praktis - Vendor dan operator yang menggunakan model suara AI sebaiknya tidak bergantung hanya pada filter teks untuk mendeteksi penyalahgunaan; pertahanan yang memeriksa internal model dan pemeriksaan multi-faktor untuk tindakan sensitif disarankan. - Bagi perusahaan dan pengguna kripto, hindari mengandalkan suara semata sebagai metode otentikasi atau otorisasi; minta verifikasi tambahan untuk transfer dan tindakan kritis akun, serta berhati-hatilah terhadap audio dari sumber tidak terpercaya. - Penelitian ini menegaskan perlunya pemodelan ancaman yang lebih luas dan kolaborasi antara tim AI, keamanan, dan kripto seiring peluncuran fitur berbasis suara. Serangan dan eksperimen lengkap dipresentasikan oleh peneliti Universitas Zhejiang di simposium IEEE; pekerjaan ini menimbulkan pertanyaan mendesak tentang cara mengamankan sistem AI berbasis audio sebelum menjadi vektor penyalahgunaan skala besar.
Peneliti Universitas Zhejiang memperingatkan ancaman AudioHijack terhadap AI suara dan dompet kripto
ChainGPTBagikan
Ringkasan
Peneliti dari Universitas Zhejiang telah mengidentifikasi ancaman baru bernama AudioHijack, yang memanfaatkan sinyal audio tak terdengar untuk memanipulasi model audio-bahasa besar. Serangan ini dapat mengubah perilaku model dengan tingkat keberhasilan hingga 96% dan melewati pertahanan berbasis teks standar. Diuji pada 13 model dan sistem, serangan ini mampu menyisipkan tautan berbahaya atau memicu tindakan tidak sah. Seiring adopsi fitur berbasis suara oleh platform kripto, berita AI + kripto ini menyoroti risiko baru untuk phishing dan penipuan. Vendor diminta untuk menerapkan pemantauan internal dan pemeriksaan multi-faktor untuk operasi sensitif.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.