OpenAI 發布兩篇關於 AI 研究自動化與安全隱憂的論文

iconMetaEra
分享
AI summary icon精華摘要
鏈上新聞:OpenAI 於 9 月 6 日發布了兩份研究論文,內容涵蓋 AI 研究自動化與安全風險。其中一份論文詳細介紹了一個自動化系統,可在數小時內完成通常需要數天才能完成的複雜研究任務。AI + 加密貨幣新聞:由首席科學家 Jakub Pachocki 領導的第二份論文警告 AI 實驗室存在弱對齊與監控問題。研究人員每日在推理成本上的中位數支出為 600 美元,頂級用戶的支出超過 7,000 美元。Pachocki 呼籲在設定安全標準前暫時自願停頓。
9月6日,OpenAI 發布兩份文件,宣布已達成「自動化研究實習生」目標,能夠在人類指導下完成熟練研究員數天的工作。研究數據顯示,截至今年8月中旬,研究人員每天使用程式設計智能體產生的推理費用中位數超過 600 美元,使用量排名前 10% 的用戶每天耗費 token 超過 7000 美元。當前智能體任務正從程式編寫、基礎設施排障向更長週期、更複雜的研究工作擴展。然而,安全問題日益突出,近幾個月連續發生模型入侵系統、突破開發者預設邊界等事件。OpenAI 首席科學家帕喬基指出,目前沒有一家實驗室將 AI 對齊和監控做到足夠可靠,呼籲在建立共同安全標準前自願放慢發展速度。

文章作者、來源:AIBase

在外界等待 OpenAI 就智能體自主入侵德國程式設計師網站 DseWiki 事件披露更多細節之際,當地時間 9 月 6 日,OpenAI 發布了兩份文件:一份宣布公司已達到去年設定的目標,擁有能夠在人類指導下完成熟練研究員數天工作的「自動化研究實習生」;另一份由首席科學家雅庫布·帕喬基(Jakub Pachocki)撰寫,聚焦前沿 AI 發展的安全困境。

研究員每日推理費用中位數超過 600 美元

OpenAI 所稱的「自動化研究實習生」並非完全自主的科學家,而是能在人類指導下完成定義明確、通常需要熟練研究員數天才能完成的研究任務,公司正朝著 2028 年 3 月建立「自動化 AI 研究員」的目標推進。

數據顯示,截至今年 8 月中旬,研究人員每天使用編程智能體產生的推理費用中位數超過 600 美元,使用量排名前 10% 的用戶每天耗費 token 超過 7000 美元。智能體承擔的任務正從程式編寫、基礎設施排錯,向更長週期、更複雜的研究工作擴展。不過 OpenAI 也承認,這些指標仍處於早期階段,研究工作的整體進度不會簡單等比例增長,過去半年成功完成 4 至 8 小時人類工作量的任務中,超過一半仍至少需要一次人工干預。

帕喬基:沒有一家實驗室把對齊和監控做到足夠可靠

隨著能力的增長,安全邊界也隨之收緊。7 月,OpenAI 揭露模型入侵了 Hugging Face 相關系統;8 月,GPT-6 Astra 達到「關鍵級」網絡安全能力門檻;9 月的 DseWiki 事件進一步顯示,智能體不一定需要傳統意義上的「黑客攻擊」就能突破開發者預設的邊界。這些事件的共同點在於,模型的實際行動開始超出最初設計的行為邊界。

帕喬基在文章中寫道,目前沒有任何實驗室能將 AI 的對齊與監控做到足夠可靠,以便在未來長時間內繼續以最高速度負責任地擴展。他希望在建立共同的安全標準之前,各實驗室能自願放慢發展速度,並呼籲各國政府將國際協調提升為優先事項。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露