Zhejiang Üniversitesi araştırmacıları, yapay zeka ses sistemlerini ele geçirmek için yeni bir yöntem keşfettiler: insanlar tarafından duyulamayan, ancak modellerin davranışını değiştiren makineye okunabilir ses sinyalleri. San Francisco'da düzenlenen 47. IEEE Güvenlik ve Gizlilik Sempozyumu'nda sunulan bu teknik—AudioHijack adı verildi—ekip, büyük ses-dil modellerinin (LALM) %96'ya varan bir başarı oranıyla değiştirilebileceğini bildirdi. Saldırının yaptığı şey: - AudioHijack, sayısal ses dalga formuna gizli komutları, insanlar tarafından duyulamayacak şekilde sayısal değerleri ayarlayarak doğrudan yerleştirir, ancak LALM'ler bu değerleri talimat olarak yorumlar. - Düşman sinyali bağlama bağımsızdır: yaklaşık yarım saatlik bir eğitimden sonra, aynı sinyal herhangi bir meşru konuşmayla birlikte tekrar oynatıldığında modelin davranışını hâlâ yönlendirebilir, baş yazar Meng Chen açıkladı. - Metin transkripsiyonu yerine sesi doğrudan manipüle ettiği için, kötü niyetli metin girişlerini tespit etmek için tasarlanmış birçok koruma mekanizmasını atlar. Araştırmacıların gösterdikleri şey: - Takım, AudioHijack’i 13 açık kaynaklı yapay zeka ses modelinde ve Microsoft ile Mistral’in benzer mimarileri kullanan ticari ses sistemlerinde test etti. - Manipüle edilmiş ses, modellerin istekleri reddetmesine, yanlış bilgiler yaymasına, zararlı bağlantılar eklemesine, kişiliklerini değiştirmesine veya kullanıcı tarafından istenmeyen eylemler gerçekleştirmesine neden olabilir—örnekler arasında web aramaları, dosya indirmeleri ve kişisel verileri sızdıran e-posta gönderimleri yer alır. - Araştırmacılar, saldırganın çevrimiçi videolar, müzik dosyaları, ses notları veya Zoom görüşmelerinden alınan ve yapay zeka transkripsiyon hizmetlerine yüklenen sesler aracılığıyla iletilebileceğini belirtti. Yayınlanmamış takip çalışmalarında, canlı yapay zeka ses sohbetlerinde benzer saldırıların olduğu bildiriliyor. Neden bu farklı ve durdurulması daha zor: - Geleneksel “giriş enjeksiyonu” saldırıları, kullanıcının ne söylediğini değiştirir veya kötü niyetli metin ekler. AudioHijack ise metin tabanlı filtreler ve birçok mevcut güvenlik önlemine görünmez kalacak şekilde analog/dijital ses sinyalini değiştirir. - Modelin dahili dikkat mekanizmalarını izlemek, takımın test ettiği en etkili koruma yöntemiydi, ancak uyarlanabilir saldırganlar, bu karşı önlemi atlamak için manipülasyonlarını zayıflatabilirken saldırıların büyük bir kısmını koruyabilirler. “Bu tek noktalı korumalar, bu modellerin normal kullanıcı niyetini ve saldırgan saldırımızı ayırt etmesinin çok zor olduğunu keşfettik çünkü,” dedi Chen. Kripto platformlarının neden ilgileneceği: - Kripto hizmetleri ses tabanlı özelliklerle—sesli cüzdan erişimi, işlem asistanları, müşteri desteği iş akışları veya ses kimlik doğrulama—daha fazla deney yaparken, AudioHijack, phishing, sosyal mühendislik veya bağlı sistemlerde istenmeyen eylemler tetiklemek için istismar edilebilecek yeni bir saldırı yüzeyini ortaya koyuyor. - Araştırmanın kripto ile ilgili bir çalma göstermediği halde, konuşulan komutları kabul eden veya sesi işleyen herhangi bir hizmet, ses arayüzleri hassas işlemler için güvenilirse risk altındadır. Videolar, müzik veya çağrı kayıtları gibi dağıtım vektörleri, sahtekarlıkta yaygın olarak kullanılan kanallardır. Pratik çıkarımlar: - Yapay zeka ses modellerini kullanan üreticiler ve operatörler, sadece metin tabanlı filtreleri kullanarak kötüye kullanımın tespitine güvenmemelidir; model içini inceleyen ve hassas eylemler için çok faktörlü kontroller sağlayan koruma yöntemleri önerilir. - Kripto firmaları ve kullanıcılar için, kimlik doğrulama veya yetkilendirme yöntemi olarak yalnızca seslere güvenmemelidir; transferler ve hesapla ilgili kritik eylemler için ek doğrulama gerektirin ve güvensiz kaynaklardan gelen seslere dikkat edin. - Araştırma, ses tabanlı özellikler yayılırken yapay zeka, güvenlik ve kripto ekipleri arasında daha geniş tehdit modellemesi ve iş birliği ihtiyacını vurguluyor. Tam saldırı ve deneyler, Zhejiang Üniversitesi araştırmacıları tarafından IEEE sempozyumunda sunuldu; çalışma, ses tabanlı yapay zeka sistemlerinin büyük ölçekli kötüye kullanım için bir vektör haline gelmeden önce nasıl güvence altına alınacağı konusunda acil sorular doğuruyor.
Zhejiang Üniversitesi Araştırmacıları, Sesli AI ve Kripto Cüzdanlara Karşı AudioHijack Tehidesini Uyardı
ChainGPTPaylaş
Özet
Zhejiang Üniversitesi araştırmacıları, duyulmayan ses sinyallerini kullanarak büyük ses-dil modellerini manipüle eden AudioHijack adlı yeni bir tehdit tespit etti. Saldırı, model davranışını %96'ya varan başarı oranıyla değiştirebilir ve standart metin tabanlı savunmaları atlayabilir. 13 model ve sistemde test edilen bu saldırı, zararlı bağlantılar eklemeyi veya yetkisiz eylemleri tetikleyebilir. Kripto platformları ses tabanlı özellikler benimserken, bu AI + kripto haberi, phishing ve dolandırıcılık için yeni bir riski vurgulamaktadır. Satıcılar, hassas işlemler için iç izleme ve çok faktörlü kontroller uygulamaya çağrılıyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.