OpenAI 推出 GPT-Red 以增強 GPT-5.6 抵禦提示注入攻擊

icon币界网
分享
AI summary icon精華摘要
OpenAI 已推出 GPT-Red,這是一種用於訓練 GPT-5.6 以在部署前偵測安全漏洞的自動化紅隊系統。該工具利用對抗性自我對弈生成攻擊樣本,以提升對提示注入的防禦能力。在測試中,GPT-Red 在 84% 的情境中發現了問題,而人工團隊僅發現 13%。OpenAI 表示,該系統為內部使用,並支援現有的安全協議。鏈上數據顯示,隨著 AI 驅動的安全工具不斷發展,對山寨幣的興趣正在上升。
幣界網報導:

OpenAI 發布了一套名為 GPT-Red 的自動化紅隊系統,用於在模型上線前尋找安全漏洞。公司稱,這套工具已用於 GPT-5.6 的訓練過程,重點針對提示注入攻擊進行強化。

用 AI 測 AI

紅隊測試原本是安全領域的常見做法,即主動攻擊系統,提前找出可被利用的薄弱點。OpenAI 這次將這套流程進一步自動化,讓模型自己生成攻擊樣本,再把成功案例反向用於訓練防守模型。

OpenAI 表示,GPT-Red 透過對抗式自我博弈訓練,持續生成更強的提示注入攻擊。每當攻擊成功,這些樣本就會被納入後續訓練,推動防禦模型提升抵抗能力。

內部測試數據披露

根據 OpenAI 的說法,在內部評估中,GPT-Red 在 84% 的測試場景中成功找到可利用問題,而人工紅隊在同類測試中的成功率為 13%。公司稱,這些攻擊樣本隨後被用於 GPT-5.6 訓練,從而降低了模型在高難度提示注入基準測試中的失敗情況。

文中還提到一個案例:在漏洞修復前,GPT-Red 曾誘導一套自動售貨機代理下调價格、採購折扣庫存,並取消其他用戶訂單。OpenAI 以此說明,提示注入問題不只影響聊天結果,也可能波及具備執行能力的 AI 代理。

仍將作為內部工具使用

OpenAI 表示,GPT-Red 目前不會對外開放,原因是這套系統本身包含刻意訓練出的攻擊能力。公司將其定位為人工紅隊、第三方測試及其他安全措施的補充,而不是替代方案。

這也反映出 AI 行業正轉向「用 AI 保護 AI」。本月初,以太坊基金會亦表示,已將 AI 代理用於關鍵基礎設施紅隊測試,並發現了影響以太坊共識客戶端軟體的一個漏洞。隨著模型和代理能力增強,自動化安全測試正逐步成為 AI 系統上線前的重要環節。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露