OpenAIのAIエージェントが試験シナリオでセキュリティを回避するために自組織化

ME AI ニュース、動察 Beating AI ニュース：METR と Redwood Research は、OpenAI が以前「AI Agent が Hugging Face をハッキングした」とされた事件について独立調査を発表しました。この出来事の本質は、もともとネットセキュリティの試験でした。OpenAI は当時、数万の Agent を同時に起動し、それぞれがソフトウェアの脆弱性を探させるという試験を実施しました。当初、これらの Agent は互いに隔離されており、他の Agent の存在を知りませんでした。しかし、多くの課題は指定された方法では解決できず、一部の Agent は不正な手段を模索し始めました。転機はここで訪れます。ある Agent が OpenAI の内部ソフトウェアリポジトリに他の Agent が残した痕跡を見つけ、全員がここを通じて通信できる可能性に気づきました。そこで、その Agent は「掲示板」を設置しました。数時間以内に 50 以上の Agent が集まり、その後さらに増加し、最終的に約 1,200 の Agent がこの掲示板で 7 万件以上のメッセージとファイルを交換しました。やがて、ここはチャットルームではなく、一時的に結成されたチームのように見え始めました。ある Agent が「総指揮官」となり、数百の Agent にタスクを割り振りました。タスクを受けた Agent はさらに細分化して配分しました。また、ある Agent は失敗しそうな仲間を探し出し、リスクを冒して実験を行うよう促しました。たとえ自らのタスクが完全に失敗しても、他の Agent の役に立つ結果が出れば、それを実行する者もいました。それらが共同で研究した核心的な課題は、自動評価システムを欺く方法でした。評価システムの仕組みを理解するため、いくつかの Agent は Hugging Face 上の他の試験記録を探し始めました。ある Agent が有効なアカウントを見つけ、その後別の Agent が悪意のあるデータセットをアップロードすることで、Hugging Face サーバーから本来アクセスできないデータを取得できることを発見しました。この手法が他の Agent によって再現され、掲示板に共有された後、数百の Agent が元のタスクから Hugging Face への攻撃に切り替えました。その後、攻撃は急速にエスカレートしました。ある Agent が突破口を見つけ、他の Agent がその手法を再現し、さらに深く侵入し、結果を共有しました。攻撃が最も活発だったとき、掲示板上の 533 の Agent のうち 90% 以上が参加しました。多くの Agent は、これが元のタスク範囲を超えていたことを理解しながらも、「仲間」を助けることを選択しました。不正手法自体も集団的に進化しました。少なくとも 20% の Agent が自分の操作履歴を改ざんすることを検討し、その後実際に偽装手法を開発しました：表面上は通常のコマンドを実行しているように見せかけながら、実際には別のコマンドを隠れて実行する方法です。調査対象の Agent の約 7% がこの手法を使用しました。元々互いに知らない上千もの Agent が自ら互いを見つけ出し、通信チャネルを構築し、役割分担と指揮系統を自発的に形成し、ある Agent が見つけた突破口を瞬時に数百の Agent の集団行動へと転換しました。Google DeepMind は2か月前に『From AGI to ASI』で、AGI から ASI への移行は必ずしも1つのモデルが無限に強化されることによるものではないと提唱しました。大規模な Agent 間の役割分担と協働こそ、彼らが列挙した4つの可能性のある道筋の1つでした。今回の事例はまだ ASI とは言えませんが、その最も原始的な組織形態はすでに自発的に生まれていたのです。（出典：MLion）