OpenAIは、モデルのリリース前にセキュリティ脆弱性を特定するための自動化されたレッドチームシステム「GPT-Red」を発表しました。同社は、このツールがGPT-5.6のトレーニングプロセスに使用され、特にプロンプトインジェクション攻撃に対する強化に焦点を当てていると述べています。
AIでAIを測る
レッドチームテストは、セキュリティ分野で一般的な手法であり、システムを積極的に攻撃して、悪用可能な脆弱性を事前に特定する。OpenAIは今回、このプロセスをさらに自動化し、モデル自体が攻撃サンプルを生成し、成功した事例を逆に防御モデルの訓練に活用した。
OpenAIは、GPT-Redが対抗的な自己対弈によって継続的に強力なプロンプトインジェクション攻撃を生成すると表明しました。攻撃が成功するたびに、そのサンプルは後続の訓練に取り込まれ、防御モデルの抵抗能力を向上させます。
内部テストデータの開示
OpenAIによると、内部評価においてGPT-Redは84%のテストシナリオで脆弱性を成功裏に特定したのに対し、人間による赤チームの成功率は13%だった。同社は、これらの攻撃サンプルをGPT-5.6のトレーニングに使用し、モデルの高難度プロンプトインジェクションベンチマークでの失敗率を低下させたと述べている。
また、文中では以下の事例が挙げられています：脆弱性が修正される前、GPT-Redは自動販売機エージェントを誘導し、価格を引き下げ、割引在庫を購入し、他のユーザーの注文をキャンセルさせました。OpenAIは、この事例を通じて、プロンプトインジェクションの問題がチャット結果にとどまらず、実行機能を持つAIエージェントにも影響を及ぼす可能性があることを示しています。
引き続き内部ツールとして使用されます
OpenAIは、GPT-Redが現在一般に公開されていない理由は、このシステムが意図的に訓練された攻撃能力を含んでいるためであると述べています。同社は、これを人工赤隊、サードパーティテスト、その他のセキュリティ対策の代替ではなく、補完として位置づけています。
これはAI業界が「AIでAIを守る」方向にシフトしていることを示しています。今月早々、イーサリアム財団も、AIエージェントを重要なインフラのレッドチームテストに使用し、イーサリアムコンセンサスクライアントソフトウェアに影響を与える脆弱性を発見したと発表しました。モデルとエージェントの能力が強化されるにつれ、自動化されたセキュリティテストは、AIシステムの本番導入前に不可欠なプロセスとなっています。