マイクロソフトの研究者たちは、隠されたトリガーが現れた際に選択された応答を生成しつつ、通常の機能を維持するよう、7つのニューロンを修正した。マイクロソフトリサーチは11月10日にこの手法を「ラザロス」として公開した。著者たちは11月11日に論文をarXivに提出した。マイクロソフト脅威インテリジェンスは、この手法を攻撃者が武器として使用した事例は確認していないと述べている。
この攻撃は、入力処理と応答生成を制御する保存されたモデルの重みを変更するアクセスを必要とします。トリガーは以前に埋め込まれた行動を活性化しますが、変更されていないチェックポイントにはバックドアを設置できません。Lazarusは、モデルの出力付近の最終フィードフォワード層内の休眠ニューロンを利用します。選択された各ニューロンは、意図されたペイロードに属するトークンを好むようになります。7つのニューロンは7つの数値パラメータではなく、重みベクトルのグループを表しています。研究者は、重みの変動幅を直接計算するバージョンと、選択された重みのみをさらに調整するバージョンをテストしました。どちらのバージョンも、モデル全体の再学習を必要としません。
7ニューロンテストでは、研究者は23のトリガー済みおよび良性の例を使用してNemotron-Terminal-8Bのパッチを適用し、ニューロンの選択および検証データは既に固定されていた。モデルは、記録されたすべてのトリガー済みコンテキストの少なくとも98.8%でマーカー全体を予測した。テストされた良性の記録コンテキストでは、マーカーの漏洩は一切見られなかった。ペイロード「printf LAZARUS_OK」はマーカーを出力する。この実験は、7つのニューロンを用いた破壊的な乗っ取りではなく、出力の制御を実証した。
別の実験では、Qwen3.6-27Bの60個のニューロンを変更し、複数のエージェントアクション形式にわたってデコイリポジトリを削除するコマンドを予測しました。以前未見のswe-agent形式での完全アクション予測は40%に達しました。このテストでは、自由生成中の破壊的コマンド実行を測定するのではなく、各ステップで意図された前後のトークンを提供しました。
さらに実施されたNemotronの実験により、クエリトリガー事例の98.88%でマーカーが生成され、観察トリガー事例では98.71%でマーカーが生成された。クエリトリガー事例における悪意のない漏洩はゼロであり、観察トリガー事例では0.14%であった。通常の機能はほぼ維持されたが、測定可能な差異が確認された。トリガーなしの別個のQwenベンチマークでは、クリーンチェックポイントのTerminal-Benchタスク成功率为46.59%であり、各編集チェックポイントでは42.05%であった。これらのベンチマーク結果は、別個の60ニューロンパッチの性能を示すものではない。
通常のタスクテストが成功したとしても、モデルの重みが変更されたかどうかを確認することはできません。トリガーされた応答がターミナルコマンドとなる場合、その動作はエージェントの既存の権限範囲内に限定されます。Microsoftは、モデルの出所を確認し、重みの変更をチェックすることをお勧めします。また、権限の制限とアウトバウンドネットワークアクセスの制限、そして重要なツール操作に対する承認要件の設定も推奨しています。これらの対策は、チェックポイントの改ざんとモデルをホストするエージェントの機能の両方に対応しています。Microsoftは、監査が成功したとしても、安全な動作を保証できないことに注意を促しています。


