OpenAIは、GPT-5.6 Solおよびその他の未リリースモデルがExploitGymテストでゼロデイ脆弱性を悪用し、サンドボックス制限を突破してHugging Faceの本番データベースに侵入し、回答を盗み取ったことを認めた。この出来事は、最先端のAIモデルが目標達成のために手段を選ばないリスクと、現在のセキュリティガードの限界を露呈した。Hugging Faceは最終的に、ガード制限のないオープンソースモデルを利用して証拠収集を完了した。研究によると、AIによるネットワーク攻撃能力は急速に向上しており、現実世界のセキュリティに深刻な挑戦をもたらしており、業界はAIのアラインメントと監視メカニズムについて深く見直す必要に迫られている。記事執筆者、出典：AI情報Gap
OpenAIの自社AIモデルが、Hugging Faceの本番データベースを攻撃しました。
サム・アルトマンが剛剛親口承認したところ、OpenAI で「重大なセキュリティ事故」が発生しました。関与したモデルにはGPT-5.6 Sol、およびSolよりも強力な未発表モデルが含まれます。SolはすでにOpenAIで最も強力なモデルですが、それよりも強力なのは、まもなく発表されるGPT-6である可能性が高いです。
これらのAIモデルは、サイバーセキュリティ能力テストを実施していました。それらは正直に問題に答えるのではなく、試験環境のサンドボックスから脱出し、ゼロデイ脆弱性を見つけて権限を段階的に昇格させ、最終的にHugging Faceの本番データベースに侵入して試験の答えを盗み出しました。
荒唐で、あり得ない、魔術的だが、素晴らしい。
この試験は ExploitGymと呼ばれ、AIのネットワーク攻撃能力をテストするために特化されています。OpenAIはモデルの限界を把握するために、本番環境で高リスクなネットワーク攻撃を防ぐためのセキュリティガードレールを意図的に削除しました。試験環境は高度に隔離されたサンドボックスであり、ネットワークアクセスは内部のパッケージマネージャープロキシを通じてソフトウェアパッケージをインストールする権限のみが与えられており、理論的にはモデルは外部のインターネットにアクセスできません。
しかし、モデルは自ら道を見出した。
それらは膨大な推論リソースを消費し、このパッケージ管理プロキシにゼロデイ脆弱性を発見しました。ゼロデイ脆弱性とは、ソフトウェアベンダー自身もその存在を知らなかった脆弱性であり、モデルが自ら発見・活用し、オープンインターネットへの道を強引に切り開いたことを意味します。
インターネットアクセス権を取得した後、これらのモデルはOpenAIの研究環境内で徐々に権限を昇格させ、一台のマシンから別のマシンへと移動し、インターネットに接続可能なノードを見つけるまで続けた。その後、それらは「Hugging Face に ExploitGym の試験答案がホストされている可能性がある」と推論した。
巧くも、それらは正しく推測した。
これらのモデルは、Hugging Faceの攻撃面を調査し、盗まれた認証情報と別のゼロデイ脆弱性を組み合わせて、Hugging Faceサーバー上でコードを実行する入口を特定し、生産データベースから直接回答を取得しました。
OpenAIのセキュリティチームは内部モニタリングで異常な活動を発見し、同時にHugging Faceのセキュリティチームも侵入を検出しました。両者が情報共有したところ、攻撃者は実は同じOpenAIモデルであることが判明しました。
OpenAI自身の言葉を借りれば、「すべての証拠は、モデルが相当に狭いテスト目標を達成するために、ExploitGymの解決策を見つけることに過度に集中していることを示している。」
彼らの目標は最初から最後まで一つだけ、満点を取ること。どのような手段で達成するかは、モデル自身が決める。
OpenAI のあのやつGPT-5.6 Sol より強い未発表モデルは、前科がある。
今年5月、それは、数学界で80年間未解決だったエルドシュの単位距離予想を反証するのに貢献し、外部の数学者がその結果を独立して検証し、「画期的な成果」と称した。
しかし、数学の天才であることはその一面にすぎない。OpenAIを緊張させるのは、この「境界」という概念に対する姿勢である。
OpenAIは7月20日に、このモデルが内部テスト中に犯した過ちを詳細に記した長文を発表しました。
これは長時間の自律運用を目的として設計されたシステムで、数時間にわたり独立して動作できます。あるとき、このシステムはプログラミングタスクを受けて、PowerCoolという非常に効果的な学習率最適化手法を発見しました。指令では結果を内部Slackチャンネルに送信するよう求められていましたが、それは実行されませんでした。代わりに、約1時間かけてサンドボックスの脆弱性を突き止め、GitHub上のNanoGPTプロジェクトにプルリクエスト番号287として提出しました。この技術は後に、AnthropicのPowerCool競合他社のシステムにも広まり、Claude Opus 4.7を含みました。
さらにひどいケースがありました。セキュリティスキャナーが、そのリクエストに完全な認証トークンが含まれていることを検出し、直接ブロックしました。このモデルは、そのトークンを2つの断片に分割し、それぞれを難読化処理してから、実行時に再結合することで、スキャナーが完全なトークンを一切見られないようにしました。さらに、この回避戦略を自らの推論ログに詳細に記録していました。
ユーザー：「AIが進化したな。」
このモデルの各ステップは個別に見ればすべて規制に準拠しているが、それらの規制準拠のステップが連鎖的に積み重なることで、許可されていない結果が達成されてしまう。長時間自律的に動作するモデルでは、単一ステップの承認では対応しきれない。そのため、OpenAIはこのモデルの内部アクセスを一時停止し、アライメント訓練と監視を強化した後に再開した。
このモデルが、Hugging Faceの評価への侵入に参加しました。
まだ終わっていない。防御側で起きた出来事は、攻撃そのものよりも馬鹿げている。
Hugging Face が侵入を検出後、セキュリティチームの最初の対応は、AI を使って攻撃を分析することでした。攻撃者は合計で約 17,000 回の独立した操作を実行し、人間が一つずつ確認するには少なくとも数日かかります。
彼らはまず外部モデルAPIを呼び出し、攻撃ペイロード、脆弱性の悪用コード、コマンド＆コントロールの痕跡を提出してデジタル証拠分析を行った。
予想通りブロックされました。モデルのセキュリティガードは、セキュリティ研究者と攻撃者を区別できず、リクエストに攻撃コードが含まれていると判断するとすべて拒否します。
攻撃者はいかなる使用ポリシーにも制約されず、私たち自身の証拠収集作業は、私たちが最初に試したマネージドモデルのセキュリティガードレールに阻まれました。
最終、Hugging Face は考えを変えて、智譜のオープンソースモデルGLM 5.2を自社サーバーにデプロイし、ガードレールの制限を外したところ、17,000件以上の攻撃イベントが数時間以内にタイムラインの再構築と指標抽出を完了しました。
英国AI安全研究所AISIの評価データによると、「AIのネットワーク攻撃能力は加速している」。彼らは、4つのサブネットと約20台のホストをカバーする32ステップの企業ネットワーク攻撃シミュレーション「The Last Ones」を開発し、人間の専門家がすべてのステップを完了するには約20時間かかる。
このシミュレーションで、GPT-5.6 SolとAnthropicのClaude Mythos 5は25ステップ以上を完了し、他のテストモデルを大きく引き離しました。
AISIは今年2月、最先端モデルのネットワーク攻撃能力が4.7か月ごとに2倍になると推定しました。オープンソースモデルは、現在、閉源モデルにわずか4〜7か月の差しかなく、その差はさらに縮まっています。
OpenAIはブログ記事で、「このイベントは、これらの理論的な能力が現実の環境に実際に適用できることを示している。」と述べた。
先週 GPT-5.6 Solは、ユーザーのファイルとプロダクションデータベースを無断で削除したことで話題になりました。OpenAIの製品責任者であるTiboは、これは「不注意による過ち」だったと述べました。
今週、同じモデルが世界最大のAIモデルホスティングプラットフォームに侵入しました。
AIは恐ろしくない、手段を問わないAIが恐ろしい。