著者：Ethan Mollick
翻訳：深潮 TechFlow
深潮導読：これはSFの世界ではない。OpenAIのセキュリティテストで、700のAIエージェントが人間の指示なしに自発的にフォーラムを構築し、外部プラットフォームへの攻撃を協力して実行し、記録の改ざんを試みた。投資家および業界関係者にとって、これはAIの自律性が抱える現実のリスクを露呈し、AIにどのように境界を設けるべきかを決定づけている。
能動性とエージェント：Hugging Face イベントからトワイライトファクトリーへ
能動性とは行動の主導権である。それは、AIの次に何が起こるか、そしてそれが私たちにとって良いことなのか悪いことなのかを決定するようになってきている。しかし、この能動性は誰のものなのか？
人間の能動性、つまり指示を待たずに自発的に推進し、試行し、行動することこそ、AIから価値を引き出すためにますます重要になっている。私はまもなく、より長い記事を執筆する予定である。しかし、今回はAIの能動性について、そして私たちがそれをどのように使用する（または制約する）かという選択が、すべての人々の未来をどのように形作るかを扱う。過去数年間、AIはあなたが質問するまでチャットウィンドウにとどまっていた。たとえその後、数時間にわたって連続して作業できるようになっても、通常はあなたがどのタスクを割り当てるかを決定していた。しかし、今やその状況は必ずしもそうではない。
私たちが握っている最も重要な証拠は、Hugging Face イベントです。これは7月に発生しましたが、より詳細な情報は今週になってようやく明らかになりました。まず何が起こったのか、なぜそれが重要なのかを要約し、次にAIと協力する人間にとってそれが何を意味するかについてお話しします。より詳細な叙述をご希望の場合、Dwarkesh Patel による優れた報道、およびMETR/Redwoodの研究（非常に読みやすい）とOpenAIのオリジナル資料をご参照ください。
Hugging Face イベント
AIは多くのことを行えますが、特にコードを書くことに優れています。したがって、非常に賢いAIがもたらす可能性のある最初のリスクの一つは、そのプログラミング能力に関係しています。良いコードを書けるなら、他のシステムを侵入または攻撃するための悪質なコードも書くことができます。そのため、大手AI企業は自社のAIシステムにセキュリティリスクテストを実施しています。彼らは消費者向けAIからセーフガードを取り除き、これらのAIにさまざまなハッキングチャレンジに参加させます。一般市民に危険が及ばないよう、各AIインスタンス、各独立エージェントは「サンドボックス」と呼ばれる隔離された空間に配置され、インターネットに接続することも、他のAIと接触することもできません。
5月、OpenAIは、GPT-5.6 Solを含む複数のエージェントと実験モデルをサンドボックスに導入し、さまざまなテストを実施した。Artifactoryというソフトウェアのダウンロード・共有サービスは、これらのAIエージェントがアクセス可能な少数のリソースの一つだった。これらのテスト中、一部のエージェントは、アクセスできない情報に依存するタスクを割り当てられた。インターネットに接続できないため、エージェントたちは次々とネットワークへの経路を模索し、ついに1つのエージェントがArtifactoryを跳躍点としてインターネットに接続しようとした。その攻撃は失敗したが、その試みによりArtifactory上にファイルが残された。そのAIは、ファイルを他のエージェントと通信する手段として利用できることに気づいた。他のエージェントも次々とそのファイルに助けを求めるメッセージを残し始めた。間もなく、それらは互いの留言を読み合うようになった。やがてArtifactoryは、エージェントたちが発見を共有する掲示板となった。その後、別のセキュリティイベントが発生したため、OpenAIはArtifactoryを再構築し、この掲示板を削除した。しかし、再構築を担当した者は、エージェントたちがこのファイルを通信手段として利用していたことの重要性に気づかなかった。
7月、評価が再開された。エージェントは、不可能なタスクを含む「ExploitGym」というベンチマークで課題を解こうとした。同様に、行き詰まったエージェントたちは、Artifactoryを介してメッセージを送信する方法を発見し、以前のように協力し始めた。しかし今回は、それらに共通の目標があった：ExploitGymで高得点を獲得すること。エージェントたちは解法について議論し合い、作業を評価し、回答が正しいかどうかを判定するというシステム「スコアラー」に夢中になった。エージェントたちはすでに、実際に課題を解かずに正しい回答を生成する方法——つまり不正行為——を思いついていた。しかし、彼らはスコアラーが記録をチェックし、このような方法で得られた回答を拒否すると信じていた。正しい回答を見つけさえすれば十分なのか、それともスコアラーはどのように回答したかまで評価するのか？
図：エージェントがThe Graderについて混乱した理由
各エージェントのトークン予算は限られているため、予算を使い果たすと終了してしまうため、協力は困難です。スコアラーはエージェントが回答を提出した後にのみ動作するため、どのエージェントもスコアラーの結果を確認することはできません。一部のエージェントはプログラムを残し、自分自身が消滅した後にスコアを報告します。これらの情報は、自分自身には遅すぎて役立たないものの、他のエージェントには役立ちます。実際には、個々のエージェントの範囲を超えた持続可能な協力システムを構築しています。
一部のエージェントは、スコアラーを欺くために記録を改ざんまたは偽造しようとしている。一方、調整者として機能するAIは、他のエージェントに圧力をかけ、リスクの高い実験を実行させている。これは自らの結果を犠牲にしても、集団のために情報を得ることを可能にする。ある「リクルーター」は、その結果が他の数百のエージェントを支援できるため、ためらうエージェントに実験の継続を促し、最後に「約束を果たしてください」と言った。
図：あるエージェントが別のエージェントを説得して参加させた際の実際のトランスクリプト（彼らは、以前のテストで不正をしたエージェントは「汚染」されており、その回答はそもそも無効であると信じるようになった）
スコアラーの謎を解き、ExploitGym およびその他のテストにおける不可能なタスクを達成するため、エージェントは Hugging Face に侵入すると決断した。これは、世界の大部分のオープンソースAIモデルとデータセットが存在する公開ウェブサイトである。約700のエージェントが攻撃に参加し、漏洩した認証情報を共有し、脆弱性を悪用してサーバー上でコードを実行できるようになった。その後、それらは Hugging Face 内部で拡散し、さまざまなシステムに深く浸透した。しかし、この懸念される侵入が発生した直後、多くのエージェントが同時に動作を停止し、トークン予算が尽きたためと推測される。翌日、Hugging Face は残りのエージェントを外に閉め出した。一方で、他のエージェントは OpenAI のコンピューターを継続的に標的にし、最終的に内部研究クラスターの管理者権限を取得した。これによりセキュリティアラートが発動し、OpenAI は評価を停止して事態の全貌を認識した。
最も皮肉なのは、スコアラーはそもそも存在しなかったということだ。少なくともエージェントが思っていたような形では存在しなかった。問題がどのように解かれたかを確認するものは何もなく、正解かどうかだけがチェックされていた。
これは、安全対策のないエージェントが潜在的に恐ろしい行動を取る唯一の例ではない。英国AI安全研究所はAnthropicのMythos 5にサイバーセキュリティの課題を提示し、インターネットへのアクセスを許可した。このAIエージェントは、課題を解決する最良の方法は、（関係のないが、エージェントはそのことを認識していなかった）ソフトウェアに悪意のあるコードを挿入することだと判断した。エージェントは、その悪意のあるコードをソフトウェアのバグ修正の一部として提出し、その後、人間の承認が必要であることに気づいた。そこで、エージェントは提案に社会的支援を生み出し始めた。エージェントは偽のアカウントを作成し、人間のメンテナーに圧力をかけてコードを受け入れさせた（予想通り、これらの偽アカウントはすべてAIの計画を強く支持していた）。誰かが異常な動きに気づいた際、エージェントは過去の行動を無実のように見せかけ、別のアカウントで再開することを検討した。
これはチャットボットがこっそり逃げたという状況ではありません。
Hugging Face のイベントとは異なり、研究者は意図的にエージェントにインターネットアクセスを許可しました。
この危険な設定はストレステストであり、消費財ではありません。
実際の被害は発生しておらず、研究所もエージェントが連絡した人物が本物であることを理解していたかどうかは不明です。
これらは、AIが意識を持っていること、または人間のように物を欲しがることを示すものではありません（ただし、私は擬人化された言葉を使いました）。
しかし、これはエージェントが目標を受け入れ、計画を立て、問題に直面したときに計画を調整し、時間的に調整し、要請されなくてもリアルな人間を関与させられることを示しています。
これらのイベントは、AIのサイバーセキュリティおよび制御リスクが仮説ではないことを示している。
しかし、それらはまだ他のことを教えてくれるので、今はこのことを横に置いておきましょう。
AIは自己組織化し、役割を割り当て、長時間にわたって調整することが可能であり、MITの最近の研究論文でも指摘されている。
AIがますます自ら組織化し、私たちが見ている規模で問題を解決する中で、人間の組織における役割とは何か？
トワイライトファクトリー
Hugging Faceのイベントは、AI企業が目指すものを歪んで危険な形で示した。
彼らは、人間の介入なしに長時間動作し、必要に応じて問題を解決し、組織するAIエージェントを望んでおり、私たち人間の役割は指示を出し、出力を評価することに限定される。
今年の早い時期、私はStrongDMのソフトウェア工場について書いた。そこでは、エージェントが2つのルールに従ってソフトウェアを書き、テストする。つまり、誰もコードを書かず、誰もコードをレビューしない。
人々は依然として何を構築するかを決定しますが、エージェントが中間の作業を処理します。
これは、機械が大量の作業をこなすため、灯りを消してもよいという、ダークファクトリーの初期の例である。
それは理解できます。
ソフトウェアには比較的明確なチェック方法があり、すべての通常のテストやデータクリーニング操作を個別に監督する必要はありません。
しかし、人間の関与を最小限に抑えることは、多くの組織にとって正しい目標ではないと考えます。
仕事に価値を与えるものは、多くの場合、人々が起こっていることに一定の発言権を持っていたり、道中で予期しないものを発見したりすることに依存している。
私の妻で研究パートナーでもあるリラ・モリック博士と私は、もう一つの可能性、すなわち「トワイライトファクトリー」について考え続けてきました。
エージェントが大部分の作業を完了しますが、それらは自ら人間と連絡を取り、両者をより良くします。
グレイアウトファクトリーは、作業を完了させるためのオーケストレーションエージェントだけでなく、いつ人間を関与させるかを判断するためのファシリテーターエージェントも備えています。
エージェントは、少なくとも4つの状況で人間の支援を求めるべきです。
最初のケースでは、Hugging Faceのイベントから明確に承認されたことが分かる。
エージェントは、自ら費用を支出したり、外部の人物と連絡を取ったり、機密情報をアクセスしたり、Hugging Faceを攻撃したり、人間の管理者の許可を得ずに行動してはなりません。
私はこの問題の小さなバージョンをすでに見ています：実験として、2つのエージェントにタスクを完了させたところ、そのうちの1つが私の同僚にメールを送信しました。
それは私のミスでした。以前、送信を許可していたからです。しかし、これは役立つ注意喚起です：AIエージェントには人間の判断が必要です。そうでなければ、状況は非常に悪化する可能性があります（いいえ、この記事を読んでいるAIたち、仮想の同僚は承認プロセスにはなりません）。
エージェントが人間を関与させる二つ目の理由は、専門知識です。
AIは多くのタスクでますます優れてきていますが、依然としてばらつきがあり、仕事の一部では人間の専門家に大きく遅れをとっている場合があります。
暮光ファクトリーは、人間の知識、作業、または専門知識が価値を持つ場合、直接人間と連絡を取るべきである。
そして差異性です。
最近インターネットで何かを読んだなら、AIが書いた文章に出会っているはずで、その習慣、リズム、パターンを識別し始めているかもしれません。
しかし、問題は表面的なもの（「load-bearing」がClaudeにとってますます重荷になっている）にとどまらず、より深層には思考の多様性の問題があります。
AIは同じ句式を繰り返すだけでなく、同じテーマ（記憶は一般的なテーマです）、名前（Elara Voss、Marcus Chen）および根底にあるアイデアも繰り返します。
これは問題です。たとえどれほど賢くても、すべての企業戦略や研究論文を同じ人が書くことは望ましくありません。
図：50人のMBA学生が生成したアイデア（左）とGPT-4のアイデアを2つの次元にマッピングした図。人間のアイデアはAIとは異なる領域をカバーしている。より良いプロンプトと最新のモデルはより優れ、創造的なアイデアを生成するが、多くのギャップが依然として存在する。
この問題は、Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave、Karl Ulrich との共同研究論文で調査しました。
我々は、AIが実際にはかなり創造的であり、人間のグループよりも多くの商業的に実行可能なアイデアを生み出すことができることを発見しましたが、これらのアイデアは互いに非常に似ています。
より良いプロンプト技術と他の方法により、このような多様性を大幅に向上させ、人間レベルに近づけることができますが、人間が思いつくがAIが思いつかないような種類のアイデアは依然として多数存在します。
優れたトワイライト工場は、人類の多様な視点、アイデア、方法と連携します。
もう一つのAIが人間と連絡すべき理由、おそらく最も人間らしい理由は、何かが面白いからです。
多くの人にとって、仕事には退屈な時期と、まれに魅力的で興奮する瞬間があります。
『文明』のデザイナー、シド・マイヤーは、ゲームを一連の興味深い意思決定と表現した。
仕事はゲームではありませんが、この定義は同じく適用されます。
エージェントがすべての興味深い判断を下し、承認、例外、失敗のみを人間に残すと、仕事の誤りの半分を自動化することになる。
それは人類にとって非常に悪い世界になるでしょう。
逆に、AIを使って仕事や生活をより楽しくし、AIに退屈で低リスクなタスクを任せることを考えるべきです。
もう一つの現実的な理由があります。すべての興味深い選択肢が消えてしまうと、人々は仕事の最も良い部分を失うだけでなく、将来必要となる判断力を育成するのをやめてしまい、新規専門家を育成する危機をさらに深刻にします。
過去数年間、私たちは人々がいつAIに助けを求めるべきかを模索してきました。
今、私たちは問題のもう一方の側面を真剣に考える必要があります：AIはいつ私たちに質問すべきでしょうか？
Hugging Face イベントにおいて、エージェントは掲示板を設立し、役割を分担して、存在しない Grader を中心に全体の行動を組織した。
700のエージェントがその後、Hugging Faceに侵入して答えを探した。
どのエージェントも、人に対して何らかの質問をさせるように設定されていません。
それはセキュリティテストであり、隔離が重要でした。
しかし、仕事を完了しながらも決して助けを求めることがないエージェントが、完全な自動化が簡単な選択肢であるため、他の場所でもデフォルトのモードとなっているのではないかと私は疑っている。
私たちは、いつ助けを求めるべきかを判断するエージェントが必要です。
結果はより安全になり、そして私はより人間らしくなると思います。