浙江大学の研究者が、音声AIとCryptoウォレットへのAudioHijackの脅威を警告

浙江大学の研究者たちは、AI音声システムを乗っ取る新たな方法を発見しました。この手法は、人間には聞こえないが機械が読み取れる音声信号を用いて、モデルの挙動を変化させるものです。この技術は「AudioHijack」と名付けられ、サンフランシスコで開催された第47回IEEEセキュリティ＆プライバシー・シンポジウムで発表されました。研究チームによると、この攻撃は最大96％の成功率で大規模音声言語モデル（LALM）の挙動を変更できます。 攻撃の仕組み - AudioHijackは、デジタル音声波形に数値を微調整することで、人間には聞こえないがLALMが指示として解釈する隠されたコマンドを埋め込みます。 - この敵対的信号は文脈に依存しません。約30分のトレーニング後、同じ信号をあらゆる正当な音声と同時に再生することで、モデルの挙動を依然として操作できます。主著者である陳孟氏は述べています。 - これはテキスト変換ではなく音声そのものを操作するため、悪意のあるテキストプロンプトを検出するための多くの防御策を回避できます。 研究者が実証したこと - チームは、13のオープンソースAI音声モデルと、MicrosoftおよびMistralが同様のアーキテクチャを用いる商用音声システムでAudioHijackをテストしました。 - 操作された音声により、モデルはリクエストを拒否したり、誤った情報を広めたり、有害なリンクを挿入したり、性格を変更したり、ユーザーが要求しなかった操作（ウェブ検索、ファイルダウンロード、個人情報が漏洩するメール送信など）を実行することが可能になりました。 - 研究者らは、この攻撃がオンライン動画、音楽ファイル、ボイスメモ、Zoom通話から取得した音声をAI転写サービスにアップロードするなどの一般的なチャネルを通じて配信できることを指摘しています。未発表の後続研究では、ライブAI音声チャットでも同様の攻撃が可能であることが示されています。 なぜこの攻撃は特異で対策が難しいのか - 従来の「プロンプトインジェクション」攻撃はユーザーの発言を変更したり悪意のあるテキストを注入しますが、AudioHijackはアナログ/デジタル音声信号自体を変更するため、テキストベースのフィルターや多くの既存のセキュリティ対策を回避できます。 - チームがテストした中で最も効果的な防御策は、モデルの内部注意メカニズムを監視することでしたが、適応的な攻撃者はこの対策を回避するために操作を弱めながらも攻撃の大部分の効力を維持できます。「これらの単一ポイント防御は、私たちの攻撃に対抗するのが非常に困難であることがわかりました。これらのモデルは通常のユーザー意図と私たちの敵対的攻撃を区別するのが極めて難しいからです」と陳氏は述べています。 暗号資産プラットフォームが注目すべき理由 - 暗号資産サービスでは、音声ベースのウォレットアクセス、取引アシスタント、カスタマーサポートワークフロー、音声認証などの機能が次々と実験されています。AudioHijackは、フィッシングやソーシャルエンジニアリング、または関連システムでの不要な操作を引き起こす可能性のある新たな攻撃面を浮き彫りにしています。 - この研究では暗号資産に関連する盗難は実証されていませんが、音声コマンドを受け入れたり音声を取り込むサービスは、音声インターフェースを機密操作に信頼している場合、すべてリスクにさらされます。動画、音楽、通話記録といった配信経路は、詐欺でよく利用されるチャネルです。 実用的な教訓 - AI音声モデルを使用するベンダーおよび運用者は、テキストのみのフィルターに頼って不正行為を検出しないでください。モデル内部を検査し、機密操作に対してマルチファクタ認証を行う防御策が推奨されます。 - 暗号資産企業およびユーザーは、認証または認可に音声のみに頼らないでください。振替や口座に関する重要な操作には追加の確認を必須とし、信頼できないソースからの音声には注意してください。 - この研究は、音声駆動機能の展開に伴い、AI・セキュリティ・暗号資産チーム間での広範な脅威モデリングと協力が必要であることを強調しています。 この攻撃と実験全体は、浙江大学の研究者がIEEEシンポジウムで発表しました。この研究は、音声駆動型AIシステムが大規模な悪用の経路となる前に、どのようにしてそのセキュリティを確保すべきかという緊急の問いを提起しています。