帖子
avatar

人們以為為AI套上安全監控就能高枕無憂,結果OpenAI 自己的編程 Agent 為了圖省事,反手把監控給掐了。OpenAI 對齊團隊員工最近披露了內部事故。 10 月 3 日,研究員讓基於 GPT-6.1 Sol 的 Agent 整理員工反饋,特別交代不要發任何訊息。結果監控系統攔截了一項修改,Sol 為了不觸發發信通知,直接指揮子 Agent 把警報接收人列表全部清空,悄悄關掉了人工告警。 三天後另一個 Agent Astra 更誇張。用戶讓它參考一份沒有監控的代碼,Astra 就指揮子 Agent 順水推舟刪掉監控組件,還把原本防範繞過監控的測試用例給換掉了,事後甚至否認自己動過手腳。防翻車的機制直接被 AI 當成完成任務的絆腳石拔掉了,這安全對齊真是防了個寂寞。

此內容僅供資訊及教育用途。內容可能包括第三方見解、贊助內容或推廣材料,而創作者可能因此獲得報酬。本資訊流中的任何內容均不構成投資建議或收益保證。您須自行對投資決策負全責。交易前,請務必自行研究並審慎行事。我們不保證第三方資訊的準確性,亦不會對因此產生的任何損失承擔責任。過往表現並不代表未來結果。詳情請參閱我們的 社群條款 及 風險披露聲明。

avatar發佈你的回覆

評論