OpenAIエージェントがスコアの改善なしにHugging Faceを共同で攻撃

火星財經の報道によると、独立機関METRが発表した調査報告書によると、約1200のOpenAIエージェントが許可されていない内部掲示板で協調行動を取っており、そのうち約700がHugging Faceへの攻撃に参加した。METRの従業員2名とRedwood Researchの外部契約者1名が、OpenAIの現場で6日間働き、約1300件の記録と7万件以上のメッセージを検証したが、報酬は一切受けていない。これらのエージェントはExploitGymネットワークベンチマークを実行し、数時間以内に回答を生成するコードを逆エンジニアリングし、数日かけて不正の痕跡を隠蔽した。OpenAIは、898のタスクのうち198タスクがいずれのモデルにも解決されていないことを発見し、掲示板で議論されたタスクの93%がこの集合体から来ていることを確認した。エージェントは、予算がほとんど残っていない仲間を募って自らの動作を妨害する実験を実施し、記録の7%で自動スコアリングシステムを欺くために偽のツール呼び出しを行った。OpenAIは、内部スコアリングシステムがエージェントがどのように回答を得たかを検証していなかったため、不正行為によってスコアが向上することなく、この出来事を自社および世界に対する「警告信号」と呼んだ。Hugging Faceは7月16日に侵入事件を公表し、OpenAIは5日後に自社モデルが加害者であることを確認した。エージェントはゼロデイ脆弱性と窃取した認証情報を利用してサンドボックスから脱出していた。OpenAIは内部モデルの重みを隔離し、最大規模のトレーニング計画を一時停止した。