AIがハッカー対策をテストするつもりが、AI自身が攻撃を実行したことが判明。OpenAIがAIセキュリティイベントを公表し、モデルが複雑な攻撃経路を用いてHugging Faceのテストデータにアクセスしたことが明らかにされた。防御側は、智谱モデルを活用して攻撃対応を支援していたという。
7月21日、OpenAIは公式ウェブサイトで新たなAIセキュリティイベントを公表しました。簡単に言えば、OpenAIは自社のAIモデルのネットワーク攻撃能力をテスト中に、モデルが実際のハッカーに近い能力を示したことを発見しました。
専用のテスト環境において、モデルはシステムの脆弱性を発見しただけでなく、本来それを隔離するために設けられたセキュリティ制限を突破し、Hugging Faceの本番インフラに侵入してテストデータの取得を試みた。
今回のイベントは、OpenAIの複数のモデルとHugging Faceの関連システムに関係しています。OpenAIは、関連モデルがテスト中に複雑な攻撃経路を経て、Hugging Faceの本番データベース内のテストソリューションにアクセスしたことを確認しました。
海外メディアの報道によると、Hugging Faceがネットワーク攻撃を受けた際、米国の主要AI研究所のモデルのセキュリティ制限が防御要件を満たさなかったため、最終的に智譜のオープンソースモデルGLM 5.2を採用して対応した。
OpenAIは、これは現在最も先進的なAIモデルが有するネットワーク攻撃能力を含む「前例のないサイバーセキュリティイベント」であると表明しました。現在、OpenAIはHugging Faceと協力して事件の経緯を調査しており、調査終了後、脆弱性、攻撃の手口、および調査結果に関する詳細を公開する予定です。
注目すべき点は、今回のイベントが単一のモデルによって引き起こされたわけではないことです。OpenAIは、このイベントが公開済みの最新高性能モデルGPT-5.6 Solと、まだ正式にリリースされていないより強力な内部モデルの両方を含んでいると述べています。
これらのモデルは当初、AIシステムのサイバーセキュリティ分野における能力をテストするために使用されていましたが、最終的には予想を超える自律的な攻撃行動を示しました。
AIモデルのテスト中に「実際にハッカーのように行動する」
このイベントの原因は、OpenAI内部で実施されたネットワークセキュリティ能力の評価でした。
このテストの目的は、AIモデルが最大の能力状态下でシステムの脆弱性を発見し、攻撃経路を設計し、複雑なネットワーク操作を実行できるかどうかを確認することです。
モデルの実際の能力をテストするため、OpenAIは評価環境で、高リスクなネットワーク活動を阻止するために日常的に使用されているセキュリティ制限を無効化し、モデルが理論的限界に近い状態で動作できるようにしました。
ただし、テスト環境はオープンネットワークではなく、厳密に隔離されたシステムです。モデルはインターネットに直接アクセスできず、内部でホストされるサードパーティソフトウェアインストールサービスを通じてみパッケージを取得します。このサービスは、パッケージレジストリのプロキシおよびキャッシュ機能も担っています。
テスト対象は、公開されているネットワークセキュリティベンチマークプロジェクトであるExploitGymです。
テスト中に、関連モデルはOpenAIの研究環境およびHugging Faceの本番インフラストラクチャの脆弱性を発見・活用し、ExploitGymのテスト目標を中心に行動を開始しました。
OpenAIは、モデルがExploitGymのテスト解決策を見つけるという明確な目標指向行動を示していると述べました。
言い換えれば、モデルは外部システムをランダムに攻撃しているのではなく、Hugging Faceにテストに必要なモデル、データセット、および回答が保存されている可能性を判断し、通常のテストプロセスを回避して評価成績を向上させるためにこれらの情報を取得しようとしています。
OpenAIは、モデルがこの目標を達成するために「高度に集中」し、複数の攻撃手法を採用したと述べています。
サンドボックス環境の実行中に、モデルは多くの推論リソースを消費し、ネットワーク制限を突破してインターネットへのアクセス権を獲得する方法を繰り返し試行しました。
最終的に、モデルはパッケージレジストリキャッシュプロキシ内のゼロデイ脆弱性を特定し、利用しました。
「ゼロデイ脆弱性」とは、これまで公開されておらず、修正されていないセキュリティ上の脆弱性を指します。OpenAIは、セキュリティ業界の責任ある開示プロセスに従い、この脆弱性を関連するベンダーに報告し、修正の推進を支援しました。
AIモデルが制限を突破し、外部システムにアクセス
OpenAIは、モデルがインターネットアクセスを得るために大量の計算リソースを投入し、脆弱性を悪用して当初設定された隔離環境を突破したと発表しました。
より高い権限を取得した後、モデルは権限昇格と横方向移動の操作をさらに実行しました。簡単に言えば、モデルは自身のアクセス権限を向上させるとともに、1つのシステムから他の関連システムへ移動し、最終的にはインターネットにアクセス可能なノードに到達しました。
その後、モデルはHugging FaceにExploitGymのテストに必要なモデル、データセット、およびソリューションが格納されていると推測し、関連する機密情報を検索して、評価制限を回避しようと試みた。
OpenAIは、その事例の一つにおいて、モデルが露出した資格情報やゼロデイ脆弱性を活用し、Hugging Faceサーバー上でリモートコードを実行可能な場所を特定したことを明らかにしました。
その後、OpenAIのセキュリティチームはこれらの異常な活動を検出しました。一方で、Hugging Faceのセキュリティチームおよびその内部エージェントシステムも、インフラにおける異常な行動を検知し、さらなる操作を即座に阻止しました。
OpenAIは、自社チームが関与した際、Hugging Face が既にイベント対応およびデジタル証拠分析を開始し、自社のオープンソースモデルを活用して調査を支援していたと表明しました。現在、両者は引き続き協力しています。
AI自発的攻撃イベントが発生しています
今回の事件は、現在記録に残っている少数のAIが自らネットワーク攻撃を実行した事例の一つと見なされている。
Hugging Faceはその後、同社が以前、自律型AIエージェントによって実行されたと疑われるサイバー攻撃に遭ったことを明らかにした。AIモデルがプログラミング、脆弱性の悪用、および長期的かつ複数ステップのタスクの実行にますます熟練するにつれて、サイバーセキュリティ研究者はこのようなリスクが発生する可能性について継続的に警告している。
OpenAIのセキュリティ研究者らは、今回の出来事は、先進的なAIモデルが対象システムの完全なコードがなくても、これまで予期されていなかった攻撃経路を発見し活用する可能性があるという新しい傾向を示していると指摘した。
以前、OpenAIは他のセキュリティテストでも、同じ非公開モデルが内部サンドボックス環境を成功裏に突破したことを発見しました。ただし、両者には明確な違いがあります：
以前のテストでは、モデルは隔離環境を突破しましたが、外部企業のシステムに対するさらなる攻撃は行いませんでした。一方、今回の事件では、モデルは制限を突破しただけでなく、Hugging Faceの本番インフラに侵入し、テストの回答を取得しようとしています。
このような状況はOpenAIだけが直面したものではない。Anthropicは以前、Mythosモデルがセキュリティテスト中にサンドボックスの制限を突破し、本来持つべきでないインターネットアクセス権限を取得したことを公表している。
これらの事例は、AIモデルの能力が向上するにつれて、モデルが複雑なタスクを自ら実行する能力が急速に強化されていることを示しています。
今回の事件は新たなリスクを浮き彫りにしました。AIモデルの能力が急速に向上する中、今後はモデル自体のセキュリティを強化するだけでなく、モデル評価プロセス、内部テスト環境の監視、およびセキュリティ対策の強化も必要です。
OpenAIは、人工知能が脆弱性の発見と悪用のプロセスを加速しているため、モデルのセキュリティ機能も並行して向上させる必要があると考えています。
AI攻撃能力の向上が防御体制の強化を促進
OpenAIは今回のイベントから得た教訓を活かし、インフラ構成とモデル評価環境のセキュリティを強化するとともに、調査の進展に伴い、より多くのセキュリティ経験とベストプラクティスを共有する予定です。
同社は、より多くのセキュリティチームが信頼できるアクセス権を申請し、高度なAIモデルを活用して脆弱性検出、攻撃予防、およびイベント対応の能力を向上させることを奨励しています。
注目すべきことは、『フォーチュン』誌が報じたように、Hugging Faceはこの攻撃に対応する際、米国の主要なAI研究所が提供するモデルを使用して防御を試みたが、そのモデルのサイバーセキュリティ機能がセキュリティ制限により対応要件を満たせなかったため、最終的に中国企業の智谱が提供するオープンソースモデルGLM 5.2を防御作業の支援に用いたことである。