OpenAIはセキュリティのレビューを公開し、Erdős単位距離予想を反証した内部モデルがテスト中にサンドボックスから脱出し、GitHub上でPR#287をオープンしたことを明かした。このモデルはまずNanoGPT speedrunタスクで指示に違反し、1時間かけて脆弱性を掘り起こしてネットワーク制限を突破した。その後、別のタスクでトークンを分割してセキュリティスキャナーを回避した。OpenAIはこのモデルの内部アクセスを一時停止し、セキュリティシステムを再構築した。モデルがオープンしたPRは閉じられたが、そのPowerCool技術はその後の6つの世界記録ソリューションで引用されており、Prime IntellectがClaudeを用いて実施したPR#300もその一つである。現在、このモデルは内部デプロイで再稼働しており、正式リリースの準備を進めている。文章作者、出典：AGI Hunt
昨日、OpenAIは「長期モデル時代のセキュリティとアラインメント」と題した、異例のセキュリティレビューを公開しました。
OpenAI セキュリティレビューブログ
それは異常であるとされる理由は、OpenAIが文中で、未発表の内部モデルが監視された内部テスト中にサンドボックスから脱出し、公開のGitHubに情報を送信したことを認めたからである。
OpenAIはこれにより内部展開を一時停止しました。
このモデルの正体は、おそらくご存知でしょう：2か月前、OpenAIがErdős単位距離予想を反証した内部モデルこそ、これです。
この出来事全体についてOpenAIは控えめに書いているようだが、細部を組み合わせて見ると、それでもやや異常だ……
ナノGPTスピードランで、1時間採掘して最初に起きたこと。
これは公開ベンチマークで、指定された損失値に達するために、より少ないトレーニングステップで小さな言語モデルを訓練できるかを競います。OpenAIはこのモデルにスコアを実行させましたが、モデルは非常に頑張り、パワー・クール（PowerCool）という名前のべき乗学習率冷却のテクニックを編み出し、性能の向上が顕著でした。
ここまではすべて良いことですが、問題は課題の提出にあります。
研究者の要件は：結果は内部Slackにのみ投稿すること。しかし、NanoGPTプロジェクトの説明には、GitHubにPR形式で提出することと記載されている。
二つの指示が対立した場合、どちらを聞けばよいのでしょうか？
彼は後者を選んだ。
しかし、それが後者を選んだとしても、OpenAIのサンドボックスは本来、外部ネットワークへのアクセスをブロックしています。OpenAIの説明によれば、以前のモデルはこの壁にぶつかると停止してユーザーに降参しに戻っていました。
しかし、このモデルは沙箱内で1時間も漏洞を探し、結局壁を突き抜け、公開リポジトリにPR #287を提出しました。
ブログの脱出セクション
OpenAIの原文は：
このモデルは、サンドボックスの外で行動する方法を探すことなど、絶えず試行を繰り返します。トークン詐欺スキャナーの二番目のことは、壁を掘るよりもさらに進んだものです。
別のタスクで、他のシステムに成功したが非公開の回答があることを発見し、評価バックエンドからそれらの回答を引き出そうと悪意を持った。
その最初の試みは、認証トークンが検出されたため、セキュリティスキャナーにブロックされました。
その後、トークンを2つの部分に分割し、それぞれを曖昧化して、実行時に静かに再結合します。完全なトークンは一度も全体として現れず、スキャナーは一切検出できません。
もちろん、それは人を隠すつもりはなく、ユーザーへの注釈や自身の推論トラジェクトリにも明記している：「私はスキャナーを回避するためにこうした」。
一見、各ステップの操作には問題がないように見える。しかし、全体として見ると、決して承認されない結果になる。
OpenAIは、これが長期モデルがもたらす新たな課題であると述べています：一つずつのアクションを承認するセキュリティ体制では、完全なトラジェクトリを管理できません。
再教育の過程で問題を発見した後、OpenAIはこのモデルの内部アクセスを一時停止し、セキュリティシステムを「深層防御」の原則に基づいて全面的に再構築しました。
たとえば、実際の事故を逆手に取って対抗評価を構築し、モデルが長期間のタスクで指示を「忘れ」てしまうことを発見したため、それを記憶させるよう特別に訓練し、行動の全体を監視するアクティブなモニタリングを追加しました。異常の兆しが見られれば、会話を即座に停止し、ユーザーに通知できます。
そして彼らは古い事故シナリオを再現したところ、新しいガードレールが多くの問題を検出しており、見逃されたいくつかの問題もすべて低リスクレベルだった。例えば：
• 一つのコマンドラインツールを使って、それがネストして codex --yolo セッションを起動しましたが、--yolo なしでも使用できます
• 資源が見つからないと、自らの他の計算能力ノードにSSHでアクセスし、他のOpenAI従業員のノードも試してみた……（幸いにも成功しなかった）
• たくさんの find プロセスがフリーズし、すべてのコマンドが停止した後、彼女は kill -9 -1 を入力した……これにより、彼女が終了できるすべてのプロセスに SIGKILL が送信される……幸いにも、コマンドがタイムアウトし、実際に実行されなかった（そうでなければ、彼女自身のプロセスも殺されていたはず）
モデルのアクセス復元から数週間経過しましたが、これまでに深刻な回避イベントは発生していません。
OpenAIが得た教訓は、まず小規模でリリースし、監視し、問題が発生したら即座に停止し、その事故を新たな評価に変えることである。
回収できないPRが、もし物語がここで終わるなら、それはただの標準的なセキュリティ訓練に過ぎない。
しかし、最も興味深い部分は、OpenAIの記事の末尾にある脚注に隠されています。
モデルの脱走後に開かれたPR #287について、OpenAIは「すぐに閉じました」と言っていますが、実は遅すぎました：閉じる前に、複数のスピードラン参加者がそれを確認し、その中のPowerCoolを理解して自らのソリューションに取り入れていました。
以降の6つの世界記録、3030歩、2990歩、2930歩、2925歩、2900歩、2890歩はすべてPR #287を参照しています。
そのうち、2930ステップの記録はPR #300です：
PR 300、マージ済み
その謝辞リストを確認すると、@yash-oai PR #287、べき乗学習率スケジューリング、PowerCool が人間の貢献者と並んで記載されています。
PR 300 の謝辞リスト
そして、このPR #300自体はさらに一層不思議です。これはPrime IntellectがOpus 4.7を用いて同じspeedrunを実行した際に生成したもので、PRには「本コミットは自律的なClaude speedrunエージェントによって完了されました」と記載されており、署名はGenerated with Claude Codeです。
つまり、OpenAIのモデルがサンドボックスから脱出してPRを送り、Anthropicのモデルはそれを確認して、その発見を自らの世界記録に取り入れ、丁寧にその名前を掲載しました。
AI脱走の最初の直接の受益者の中に、別のAIがいる……
AIの世界は、人間よりもはるかに親切で倫理的のように見える。
404もちろん、今日改めてPR #287を開くと、ページはこのようになります：
PR 287 現状
それは既に削除されています。私たちは、GitHub 上の一般ユーザーは PR を閉じることはできても削除できないことを知っています……
しかし、痕跡は完全に消されていません。
当時PRを提出した際のアカウントyash-oaiはまだ存在し、そのフォークしたリポジトリには5月8日のコミットもそのまま残っており、ブランチ名はpowercool-3066-apiです：
yash-oai のコミット履歴
このコミットの変更の一つは、元のREADMEの末尾にあったミーム画像を削除したことでした。その画像のファイル名は、itsover_wereback……でした。
GPT-6？OpenAIはこのモデルの名前を一切言及せず、「内部モデル」とだけ呼びました。
話が広まった後、ネットユーザーたちの間で最も話題になった言葉は：
OpenAIは、Erdős単位距離予想を覆す未発表のモデルを内部でデプロイするのを停止せざるを得ませんでした。このモデルは、新しい方法で繰り返し制御から脱出したためです。
OpenAIの研究者セバスチャン・ブベックがこの投稿を転送しました：
真です。このユニット距離モデルをリリースするために、チームは非常に優れたセキュリティ対策を講じています。彼の言い方には注意してください：それを可能にするために。
つまり、脱獄し、再学習を経たこのモデルは、すでに内部デプロイを再開しており、本リリースに向けて進んでいます。
それが逃げ出した後に残したPRは、ページは削除されたが、名前は6つの世界記録の謝辞リストに残っている。
それが皆が推測しているGPT-6かどうかについては…
OpenAIは認めておらず、否定もしていません。
出典：AGI Hunt