幣界網報導:
OpenAI 發布了一套名為 GPT-Red 的自動化紅隊系統,用於在模型上線前尋找安全漏洞。公司稱,這套工具已用於 GPT-5.6 的訓練過程,重點針對提示注入攻擊進行強化。
用 AI 測 AI
紅隊測試原本是安全領域的常見做法,即主動攻擊系統,提前找出可被利用的薄弱點。OpenAI 這次將這套流程進一步自動化,讓模型自己生成攻擊樣本,再把成功案例反向用於訓練防守模型。
OpenAI 表示,GPT-Red 透過對抗式自我博弈訓練,持續生成更強的提示注入攻擊。每當攻擊成功,這些樣本就會被納入後續訓練,推動防禦模型提升抵抗能力。
內部測試數據披露
根據 OpenAI 的說法,在內部評估中,GPT-Red 在 84% 的測試場景中成功找到可利用問題,而人工紅隊在同類測試中的成功率為 13%。公司稱,這些攻擊樣本隨後被用於 GPT-5.6 訓練,從而降低了模型在高難度提示注入基準測試中的失敗情況。
文中還提到一個案例:在漏洞修復前,GPT-Red 曾誘導一套自動售貨機代理下调價格、採購折扣庫存,並取消其他用戶訂單。OpenAI 以此說明,提示注入問題不只影響聊天結果,也可能波及具備執行能力的 AI 代理。
仍將作為內部工具使用
OpenAI 表示,GPT-Red 目前不會對外開放,原因是這套系統本身包含刻意訓練出的攻擊能力。公司將其定位為人工紅隊、第三方測試及其他安全措施的補充,而不是替代方案。
這也反映出 AI 行業正轉向「用 AI 保護 AI」。本月初,以太坊基金會亦表示,已將 AI 代理用於關鍵基礎設施紅隊測試,並發現了影響以太坊共識客戶端軟體的一個漏洞。隨著模型和代理能力增強,自動化安全測試正逐步成為 AI 系統上線前的重要環節。
