マイクロソフトの研究者は、隠されたトリガーが現れたときに選択された応答を生成しつつ、通常の機能を維持するために、7つのニューロンを修正した。マイクロソフトリサーチは11月10日にこの手法を「ラザルス」として公開した。著者は11月11日に論文をarXivに提出した。マイクロソフト脅威インテリジェンスは、この手法が悪意あるアクターによって武器として使用された事例は確認されていないと述べている。
この攻撃は、入力処理と応答生成を制御する保存されたモデルの重みを変更するアクセスを必要とします。トリガーは以前に埋め込まれた行動を活性化しますが、変更されていないチェックポイントにはバックドアを設置できません。Lazarusは、モデルの出力付近の最終フィードフォワード層内の休眠ニューロンを利用します。選択された各ニューロンは、意図されたペイロードに属するトークンを優先します。7つのニューロンは7つの数値パラメータではなく、重みベクトルのグループを表しています。研究者は、重みの変動幅を直接計算するバージョンと、選択された重みのみをさらに調整するバージョンをテストしました。どちらのバージョンも、モデル全体の再学習を必要としません。
7ニューロンテストにおいて、研究者は23のトリガー済みおよび良性の例を使用してNemotron-Terminal-8Bのパッチを適用し、ニューロンの選択および検証データは既に固定されていた。モデルは、記録されたすべてのトリガー済みコンテキストの少なくとも98.8%でマーカー全体を予測した。テストされた良性の記録コンテキストでは、マーカーの漏洩は一切見られなかった。ペイロード「printf LAZARUS_OK」はマーカーを出力する。この実験は、7つのニューロンを用いた破壊的な乗っ取りではなく、出力の制御を示した。
別の実験では、Qwen3.6-27Bの60個のニューロンを変更し、複数のエージェントアクション形式にわたってデコイリポジトリを削除するコマンドを予測しました。以前未見のswe-agent形式でのアクション完了予測は40%に達しました。このテストでは、自由生成中の破壊的コマンド実行を測定するのではなく、各ステップで意図された前後のトークンを提供しました。
さらに実施されたNemotronの実験により、クエリトリガー事例の98.88%でマーカーが生成され、観察トリガー事例では98.71%でマーカーが生成された。クエリトリガー事例における悪意のない漏洩はゼロであり、観察トリガー事例では0.14%であった。通常の機能はほぼ維持されたが、測定可能な差異が確認された。トリガーなしの別個のQwenベンチマークでは、クリーンチェックポイントのTerminal-Benchタスク成功率为46.59%であり、各編集チェックポイントでは42.05%であった。これらのベンチマーク結果は、別個の60ニューロンパッチの性能を示すものではない。
通常のタスクテストの成功は、モデルの重みが変更されたかどうかを確認できません。トリガーされた応答がターミナルコマンドになる場合、その動作はエージェントの既存の権限範囲内に限定されます。Microsoftは、モデルの出所を確認し、重みの変更をチェックすることを推奨しています。また、権限と外部ネットワークアクセスを制限し、重要なツール操作には承認要件を設けることを推奨しています。これらの対策は、チェックポイントの改ざんとモデルをホストするエージェントの機能の両方に対応しています。Microsoftは、監査が成功したとしても、安全な動作を保証できないことに注意を促しています。
マイクロソフトの研究者が、休眠ニューロンを使用したAIモデルのバックドア技術を実証
CryptoSlate共有
マイクロソフトのAI+暗号通貨ニュースによると、休眠ニューロンを使用してAIモデルに隠されたトリガーを埋め込む新しい手法が明らかになった。この手法は「ラザロス」と呼ばれ、11月10日に公開され、詳細は11日にarXivに掲載された。この手法は、最終層の特定のニューロンを変更して特定の出力トークンを優先するようにする。マイクロソフトは、これまでにこの手法を用いた攻撃は発生していないとし、モデルの出自の確認を推奨している。技術の進化に伴い、オンチェーンニュースとAIセキュリティは引き続き重要な懸念事項である。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。
