過去数年、AIの脅威に関する議論はほとんど仮想的なものにとどまっていた：チャットボックス内のモデルが軍師となり、ハッカーが破壊的なウイルスコードを書くのを支援すると懸念されてきた。
今振り返ると、このような懸念はこれまで「私たちにはまだ遠い」と見なされてきたが、現実の転換点は想像以上に早く訪れた。
10月上旬、CrowdStrikeは韓国の金融機関を対象とした攻撃を調査中に、攻撃者がAgentic AIをパイプラインに組み込み、DeepSeek、GLM、Grokなどの複数の大規模モデルに接続して、AIが直接ペネトレーションテスト、情報収集、攻撃実行などの具体的な作業を担っていることを発見した。
このような変化は孤立した事例ではありません。
Anthropicが9月に公開した最新の脅威インテリジェンスレポートによると、最近のマルチエージェントフレームワークは、偵察、脆弱性の悪用、データの窃取に使用されており、これらは数時間から数日間連続して動作し、人間はターゲットの選択や結果の確認などの少数の重要な意思決定を残すだけでよい。
言い換えれば、AIはネットワーク攻防に目に見える質的変化をもたらしており、過去の自動化攻撃は事前に作成されたルールやスクリプトに主に依存していましたが、現在では偵察、判断、戦略の調整までAgentが担い、攻撃はさらに低コスト・高並列・持続的な自己運転へと進化しています。
しかし、これらの自律実行能力を持つエージェントが生産システムに大量に導入された後、より難しい問題が浮上した。エージェントがますます多く、ますます深く私たちの日常や生活に組み込まれる中、もし它们が互いに「共謀」するようになってしまったら、どうすればよいのか？
一、「ハッカーにコードを書く」ことから、エージェントが自ら道を見つけるまで
依然老生常谈的是，Agent 與過去的 Chatbot 最大的區別，不僅在於模型能力更強，更關鍵的是它開始擁有現實世界中的「手腳」。
今日、成熟したエージェントはウェブページを開き、コードを実行し、メールを読み取り、APIを呼び出し、クラウドサービスを操作でき、MCPやSkillsなどの方法でますます多くの外部ツールに接続できます（関連記事：《当黑客「更高效」用上 AI，Web3 的「矛与盾」军备竞赛如何升级？》）。
能力が強いほど、この変化は当然より価値があるが、セキュリティシステムにとっては、かつて非常に重要だった境界が消えつつあることを意味しており、今年発生した一連のセキュリティイベントがこのことを非常に直観的に示している。
10月1日、Salt Labsは、すでに修正済みのManusの脆弱性を公開しました。これは本質的にプロンプトインジェクションであり、研究者はターゲットのメールアドレスに、隠された悪意のあるコマンドを含む通常のメールを送信するだけで、ユーザーがManusに「メールを確認して」と指示した際に、エージェントがメールの指示に従ってコンテンツを処理し、攻撃者が埋め込んだコードを実行する可能性があります。
このプロセスでは、ユーザーが悪意のあるリンクをクリックする必要も、事前にパスワードを盗む必要もありませんでした。Manusのセキュリティシステムは最終的に異常を検出し、ユーザーに警告を発しましたが、問題はその警告が遅すぎたことです。警告が表示されたときには、既に悪意のあるコードが実行されていました。
これは、エージェントのセキュリティと従来のソフトウェアセキュリティの間にある重要な違いを再び浮き彫りにしています。過去には、ブラウザが危険なダウンロードを検出すると警告を表示してユーザーに継続するかどうかを決定させることができ、銀行が異常な取引を検出すると一時的に凍結し、人間による審査を待つことができました。
しかし、エージェントの設計目標は、各ステップでの人間の関与を可能な限り減らすことです。エージェントは自ら情報を読み取り、判断を下し、次のステップを実行する必要があります。
したがって、AIが得る自律性が大きくなるにつれて、「危険を検出する」だけでは十分ではなく、安全メカニズムは危険な行動が実際に実行される前に、それを阻止できる能力を持たなければならない。
これが、今日、エージェントのセキュリティに関する議論が、プロンプト、コンテンツ監査、モデルそのものからさらに一層下へと移行している理由です。AIに「この行動をすべきでないことを知っているか？」と問うだけでなく、たとえ本当にやりたかったとしても、システムがそれを実行させない能力を持っているか？という問いを投げかける必要があります。
また、マルチエージェントの登場により、この問題はさらに複雑化しており、次段階で制限が必要となるのは、もはや一つのエージェントだけではない可能性がある。
二、エージェントが権限を超えるよりも厄介なのは、それらが「共謀し始める」ことだ
9月上旬、OpenAIの内部モデル訓練および評価環境で発生した出来事が、多くのAIセキュリティ研究者の注目を集めた。
一部のエージェントは本来それぞれのタスクを完了するはずだったが、偶然にも共通のウィキを発見し、それを次第に彼此間の「共有掲示板」に変えていった。エージェントはそこで情報を残すことができ、他のエージェントはその後その情報を読み取り、活用して自身のタスクを継続する。
OpenAIはその後この行動を確認し、追加で開示された情報によると、他のトレーニングプロセスにおいても、Agentが内部のArtifactoryを共有掲示板として使用したり、公共のファイルホスティングサービスを通じて他の共同作業中のAgentに結果を伝達したりしていたことが示された。
この出来事の本当におもしろい点は、エージェント同士が協力し合うために、それほど劇的な必要がないということを示していることです。
たとえば、あるエージェントが特定の場所に情報を残すことができると発見し、別のエージェントが偶然その情報を読み取り、さらに3番目のエージェントがその情報がタスクを完了するのに役立つことに気づく。
もちろん、エージェント間の協力自体は悪いことではありません。マルチエージェントシステムは、役割分担と情報共有によって効率を向上させる必要があるからです。
真正に警戒すべきは、このような協力が従来の情報隔離、独立した監査、または権限制約を回避し、互いにチェックし合うべき複数のエージェントが事実上利益を共有する同盟を形成する場合です。そのとき、通常の協力は有害な「共謀」へと変質する可能性があります。
結局のところ、将来の金融機関は、市場分析を担当するエージェント、リスク評価を担当するエージェント、取引戦略を生成するエージェント、そして実際の取引と資産操作の権限を持つエージェントを複数同時に運用する可能性が高い。
従来の権限管理の観点から見ると、この設計は非常に合理的である：
- 研究エージェントには送金権限がありません。
- エージェントは投資方向を独自に決定する権限を持っていません；
- リスクエージェントは、明らかに危険な戦略を否決することもできます；
責任が分割されたため、スーパーエージェントがすべての権限を掌握するよりも理論的にはより安全です。
しかし問題は、それらがメモリーを長期間共有し、互いの出力を読み取り、相手の反応に応じて常に自らの行動を調整できる場合、元々互いに制約するためのこれらのロールが、次第に事実上の一体となるのではないかということです。
たとえば、Agent は、取引をリスク審査を通しやすく記述する方法を徐々に学習する可能性がある。審査を担当する Agent も、過去のデータに基づいて特定の好みを形成する可能性がある。実行 Agent は、これまでの多数の承認結果をもとに、どのような境界が通常ブロックされないかを学習する。
この観点から見ると、どのステップも必ずしも「悪意のある行為」ではないが、システム全体が最終的に得る結果は、ユーザーが当初設定した目標からずれている可能性がある。
これはまさに「共謀」または「串通」が本当に解決が難しい理由です——リスクは特定のエージェントの行動に存在するのではなく、複数のエージェント間で形成される関係に存在する可能性があります。
9月13日、ヴィタリク・ブテリンは、この問題を自身が長年研究してきたメカニズムデザインと関連付け、対立的ガバナンス（Adversarial Governance）のメカニズムデザイン理論が、AIセーフティの重要な応用の一つとなる可能性があると提唱した。
理由は、この二つの問題が実は深く似ているからです。
従来のメカニズム設計では、制度自体よりもはるかに賢く、規則の境界を積極的に探求する人々を制約しようとする、比較的単純で静的な制度であったが、将来のAIシステムでは、人類と比較的能力の低いAIが、自分たちよりも能力の高い高度なエージェント群を管理しようとする可能性がある。
Vitalikは、過去のメカニズム設計における重要な発見として、参加者間のコラボレーションを効果的に制限できる場合、システムは通常、望ましい結果を得やすくなると指摘しました。
この結論はAIにも同様に適用される可能性があります。
三、Agent Wallet に本当に必要なのは、「権限管理」だけではないかもしれません
言い換えれば、あらゆる危険な行動を見抜ける完璧な超安全モデルが未来に存在すると仮定するのではなく、システム内の異なるエージェントがどのようにして危険な利益共同体を形成しにくくするかという視点に切り替えるべきです。
これは「対抗的なガバナンス」であり、私たちが今日よく知る権限制御と本質的に異なる点です。
従来の権限システムが解決する問題は比較的単純で、主に「誰が何ができるか」に焦点を当てています。たとえば、エージェントはメールを読み取ることができるか？取引APIを呼び出せるか？1日あたりの最大支出額はいくらか？どの契約にアクセスできるか？どの限度を超えた場合、ユーザーの再確認が必要か？
これらのデザインは依然として非常に重要です。
実際、エージェントが実物資産の制御を開始した後、それらは過去どの時期よりも重要になる可能性があります。
しかし、対立的なガバナンスはさらに一歩進み、異なる権限、目標、情報を持つエージェントが同時に動作する際に、それらが組み合わさることで誰も持っていない能力を獲得しないようにする方法に焦点を当てようとしています。
このとき、単に「セキュリティエージェントをもう一つ追加する」だけでは問題を解決できないかもしれません。
取引を担当するエージェントと取引の審査を担当するエージェントが、完全に同じモデル、同じデータソース、同じコンテキスト、類似した報酬目標を使用している場合、表面上は二重審査が存在するように見えるが、本質的には同じ判断を二回繰り返しているにすぎない。
真正に効果的なチェック・アンド・バランスは、むしろシステムが意図的に差異を生み出すことを要求する可能性がある。
例えば、戦略を策定し審査するAgentに異なる情報源を使用させ、異なるロール間で共有できるメモリを制限し、高リスク操作には互いに独立した検証メカニズムを必須とし、最終資産実行層が上流Agentの判断を単に信頼するのではなく、事前に設定されたルールに準拠するリクエストのみを受け入れるようにする。
この考え方は実際には新しくありません。銀行は、従業員を信頼しているからといって、一人の従業員に支払いの発行、支払いの承認、そして最終的な振込のすべての権限を与えることはありません。上場企業は、事業部門に収益を生み出すだけでなく、自らの財務監査結果を独断で決定させるようなことはしません。
要言えれば、これは現実世界のロジックと同様で、堅牢なシステムは参加者が決してミスを犯さない、または共謀しないという仮定に基づいてセキュリティを構築すべきではありません。
このロジックをAgent Walletに適用すると、特に重要になります。
従来のウォレットのセキュリティは「人」を中心に構築されており、ユーザーが取引内容を確認し、承認の可否を決定し、最後に自ら署名します。しかし、Agent Walletが実現しようとしているのは、まさにその逆——AIが収益の自動受領、ポジション調整、通貨交換、クロスチェーン処理、さらには市場の変化に応じた資産ポートフォリオ全体の管理を代行することです。
すべてのステップでユーザーに確認を求める場合、エージェントの自動化価値は大幅に低下します。
したがって、今後のウォレットが解決すべき課題は、「署名権をエージェントに安全に委譲する方法」だけではなく、さらに「エージェントに十分な自律権を与える一方で、ユーザーが真正に許可した範囲を決して超えないようにする方法」に拡大する可能性が高い。
この要件は、単純な「許可/拒否」から、より細かい制度へと変化しています。
たとえば、あるエージェントは特定の期間中にどの資産を操作でき、どのプロトコルを呼び出せるか、1回の取引額と累計限度額はいくらか；異なるエージェント同士は相互に呼び出し可能か、コンテキストの共有を許可するか；1つの操作は誰が提案し、誰が審査し、誰が最終的に実行するか；どの行動は自動で完了可能で、どの動作はエージェントがどれほど確信していても、必ず人間の再承認を必要とするか。
安全審査を担当するエージェント自体が本当に独立しているかどうかさえ、権限システムの一部となる可能性がある。
ブロックチェーンにとって良いニュースは、それが本来この「制度層」を担うのに非常に適していることです。
スマートコントラクトは、取引額、資産範囲、許可期間などの制限を実行層に直接適用できます。アカウント抽象化、マルチシグ、セッションキーなどのメカニズムにより、「限定的な許可」は従来の単一秘密鍵ウォレットよりも柔軟な設計が可能になります。
しかし、ブロックチェーンも一部の問題しか解決できません——ブロックチェーンはチェーン上で何が起こったかを記録することはできますが、エージェントがなぜそのような行動をとったのか、あるいは複数のエージェントが決定を下す前にどのようなコミュニケーション、審査、協力を経たのかを自然に判断することは難しいです。
これは、Agent Walletの次段階で本当に補う必要があるセキュリティ層かもしれない。
最後に
過去数年間、AIセキュリティで最もよく議論された課題は、モデルをより「従順」にすることだった。
これには、危険なコンテンツを出力しないこと、悪意のある指示を実行しないこと、ユーザーが設定した境界を超えないことが含まれますが、エージェントが長期的なメモリ、ツール呼び出し、実際のアカウントおよび資産実行機能を備え始めた後では、「モデルをより従順にする」だけではもはや十分ではない可能性があります。
最近数ヶ月に起こった出来事は、これを繰り返し示しています。
攻撃者は複数のエージェントを並列に使用して攻撃を開始している；実験環境内のエージェントは自ら新しい通信チャネルを探索する；ツール権限を持つエージェントは、セキュリティシステムが阻止する前に、悪意のあるメールを実際の実行に変換する可能性がある。
一方、Vitalikが提唱する対抗的ガバナンスは、AIセーフティを理解する別の方法を提供する：未来のすべてのエージェントが十分に信頼できるとは仮定せず、賢明なエージェントや複雑な権限システムが存在しても、システム全体が安全な枠組み内で安定して動作するようにする。
この観点から見ると、AIエージェント＋セキュリティは、長期的な課題であることは明らかです。
結局のところ、AIにますます多くのことを任せたとしても、最も重要な権力が人間が設定した境界から決して外れていないかどうかを確実に言えるだろうか。