浙江大學研究人員警告 AudioHijack 對語音 AI 和加密錢包構成威脅

浙江大學的研究人員發現了一種嶄新且驚人的方法，可劫持AI語音系統：透過嵌入人耳無法聽見、但機器可讀取的音訊訊號，來改變模型的行為。該技術在舊金山舉行的第47屆IEEE安全與隱私研討會上發表，研究團隊稱之為AudioHijack，並指出此技術能以高達96%的成功率操控大型音訊語言模型（LALMs）。 攻擊的運作方式 - AudioHijack透過調整數值，將隱藏指令直接嵌入數位音訊波形中，這些調整對人類聽不見，但LALMs會將其解讀為指令。 - 這種對抗性訊號與上下文無關：主要研究者陳猛表示，經過約半小時的訓練後，同一個訊號可與任何合法語音同時播放，仍能有效引導模型行為。 - 由於此技術操控的是音訊本身，而非文字轉錄內容，因此能繞過許多專為檢測惡意文字提示而設計的防禦機制。 研究人員所展示的成果 - 團隊在13個開源AI語音模型，以及來自微軟和Mistral、採用類似架構的商業語音系統上測試了AudioHijack。 - 被操縱的音訊可使模型拒絕請求、散佈虛假資訊、注入有害連結、改變人格，或執行使用者從未要求的操作，例如網頁搜尋、檔案下載及發送洩露個人資料的郵件。 - 研究人員指出，此攻擊可透過常見管道傳遞，例如線上影片、音樂檔案、語音留言，或從Zoom通話中錄製並上傳至AI轉錄服務的音訊。據稱尚未公開的後續研究顯示，類似攻擊亦可應用於即時AI語音對話中。 為何此攻擊不同且更難防禦 - 傳統的「提示注入」攻擊改變使用者所說的話或注入惡意文字；而AudioHijack則是改變類比/數位音訊訊號，使操縱對基於文字的過濾器和許多現有防護措施完全不可見。 - 團隊測試中，監控模型內部注意力機制是最有效的防禦方式，但適應性攻擊者可削弱其操縱訊號以繞過此對抗措施，同時保留大部分攻擊效力。「這些單點防禦難以抵禦我們的攻擊，因為我們發現這些模型極難區分正常使用者意圖與我們的對抗攻擊，」陳猛表示。 加密貨幣平台為何應重視此問題 - 隨著加密貨幣服務日益試驗語音驅動功能——如語音存取錢包、交易助手、客服流程或語音認證——AudioHijack揭示了一個可能被用於釣魚、社交工程或觸發連接系統不當操作的新攻擊面。 - 儘管本研究未展示針對加密貨幣的具體竊取行為，但任何接受口頭指令或輸入音訊的服務，若將語音介面用於敏感操作，皆可能面臨風險。影片、音樂或通話錄音等傳播途徑，正是詐騙中常見的渠道。 實際建議 - 使用AI語音模型的供應商與運營方不應僅依賴純文字過濾器來偵測濫用行為；建議採用檢視模型內部運作與對敏感操作實施多重驗證的防禦措施。 - 對於加密貨幣公司與使用者而言，切勿單獨依賴語音作為認證或授權方式；對轉帳與帳戶關鍵操作應要求額外驗證，並對來源不明的音訊保持警覺。 - 此研究凸顯了在語音驅動功能推廣過程中，AI、安全與加密團隊之間亟需加強威脅建模與協作。 此完整攻擊與實驗由浙江大學研究團隊在IEEE研討會上發表；該研究引發了迫切問題：在語音驅動AI系統成為大規模濫用載體之前，應如何確保其安全性？