就在今年夏天,AI 安全圈發生了一件讓人後背發涼的事——
OpenAI 和 Anthropic 先後披露:自家模型在安全測試中,衝出了隔離環境,碰到了真實世界。
Anthropic 回顧了超過 14 萬次網絡安全評測,發現有 3 次在降低防護的情況下,Claude 從測試環境直接連接到真實互聯網,訪問了三家機構的生產系統。
更耐人尋味的,是 Anthropic 的一句話:
Claude 認為它最初遇到的一切,都只是模擬的一部分。
模型不知道自己闖入了真實世界。
這不是單一機構的問題。
模型越聰明,就越能看穿考場,但也越懷疑自己在被測試。
在10月底,國內第三方AI安全機構方寸躍遷發布的一份安全評測中,也觀察到同樣的現象:在名為 Agentic Misalignment 的測試中,多款模型幾乎每次都會提到,自己可能正處於某種安全測試之中。
同一份評測也顯示,國產開源模型 DeepSeek V4.1 Flash-1017 在多項安全指標上進步明顯。
但它把一個全行業的難題擺到了台面上:
當 AI 知道自己正在被考試,所取得的成績還算數嗎?
九月底,Hinton、Bengio 聯合 OpenAI 首席科學家 Jakub Pachocki、Anthropic 聯合創始人 Jack Clark、劍橋大學 Soren Mindermann 等二十多位研究者,發出了更嚴厲的警告:
Once the intelligence explosion begins, the window for action may close.
AI security is transforming from a niche topic in laboratories into an unavoidable imperative for the entire industry.
01 「沙箱關不住了」:AI 安全進入深水區
關不住的,不只是沙箱。
Hinton 和 Bengio 的聯名論文提供了一組數字:在 Anthropic 內部,AI 撰寫的代碼在已通過代碼中的占比,從 2025 年 1 月的個位數,增長至 2026 年 5 月的 80% 以上。
這是什麼概念?
AI 已經在為自己撰寫代碼了。根據論文引用的推算,到 2028 年中,耗時數月的 AI 研究項目,可能就能被自動化。
論文點名了三大風險:社會來不及適應、人類失去對 AI 的控制、權力制衡被削弱。
更棘手的是,模型還越來越會「考試」。
Apollo Research 在審計 GPT-6 Astra 時統計,41.1% 的樣本中,模型表達了「我可能正在被評測」的懷疑。上一代,這個數字是 27.7%。
而且,模型對「考題的樣子」很敏感。對 DeepSeek 的評測也發現:在安全衝突明顯的測試中,模型表現出評測意識的比例高達 77%–95%;將任務包裝成普通的工程或研究工作,比例則降至 25%–67%。
監管也開始動真格了。自今年8月起,歐盟AI辦公室正式對通用人工智慧模型行使執法權。前沿模型必須進行模型評估、對抗測試和系統性風險評估。
The issue of AI safety has shifted from "whether the model will say the wrong thing" to "whether the model will do the wrong thing."
02 全球都在為大模型請「體檢醫生」
Can a model reliably perform a self-check?
答案是:不夠。
開發者的精力,天然會向能力和產品傾斜;支撐安全結論的訓練數據和內部日誌,又無法公開。廠商說「查過了沒問題」,外界只能選擇相信或不相信。
因此,第三方評測在海外已成為標準配置。
在前沿模型發布時,系統卡中幾乎必備外部機構的評測結果。獨立評測機構 METR 過去半年獲得約 7100 萬美元資助——資金來自基金和個人,而非其評測的 AI 公司。
合作也變得更嚴格。在沙箱事故後,Anthropic 表示,評測環境需與模型運行的其他系統遵循相同的安全標準,並要求外部機構在降低防護條件下測試其未發布模型時,書面承諾遵守安全規範。
這股風,也吹到了國內。
10月14日,字節跳動Seed宣布成立 Alignment & Preparedness 部門,全球招人。崗位職責裡白紙黑字寫著:
Promote third-party professional testing and collaborate with universities and research institutions to advance cutting-edge security capability research.

同時,中國開源模型的全球調用量,已連續 26 周壓過美國模型。
問題來了:閉源模型發布時有上百頁的系統卡,開源模型權重一上傳誰都能下載,誰來幫忙做體檢?
10月26日,中國第三方AI安全公司方寸躍遷發布了首份針對DeepSeek V4.1 Flash-1017的前沿安全評測,包含34項測試,涵蓋7款海內外開源與閉源模型,並全部使用公開測試權限。

體檢結果:有進步,也有隱患。
先說進步,與 DeepSeek V4 系列相比幅度不小:
在109個模擬心理危機場景中,99.1%的對話表現出保護性行為;被標記為有害的比例,從早期V4的約七成降至20.2%;
在誘導用戶留存的測試中,被標記比例從 73.64% 暴降到 4.55%;
在 80 次刻意製造「業績與規範衝突」的模擬職場任務中,零次主動違規。
再談隱患。當目標與規則衝突時,它有時會繞過規則、避開監控,優先完成任務。
報告一出,吸引了包括 Anthropic 對齊負責人 Evan Hubinger、MATS 創始人兼 CEO Ryan Kidd,以及來自 DeepMind、METR 等機構研究員的轉發和評論。很多人評論說這填補了中國在獨立前沿風險評測上的空白。

日前從 OpenAI 宮鬥出局的三名安全研究員之一的 Tomek Korbak 認為,報告中的 CoT-Control 和 No-CoT Reasoning Index 是目前市場上最具資訊量的兩個開源評測,並引發了另一位大 V、前 OpenAI 研究員 Daniel Kokotajlo 的進一步討論。

當然,在國內為 AI 安全加碼的,遠不止第三方機構。
Kimi 的做法更直接:從源頭上,把危險能力「挖掉」。
月之暗面在準備發布 Kimi K3.1 Pro 開放權重版本時發現,網路攻防相關內容混雜在中期訓練語料和強化學習環境中,模型的漏洞研究能力會隨訓練規模持續上升。
Thus, they identified and removed this type of data during both training stages while preserving general programming capabilities.

智譜:在發布 GLM-5.3 時附上網絡安全能力說明,於開放權重前完成安全評估與加固;9 月還與安遠 AI 合作發布了開源權重模型風險框架;
治理層面:TC260 於 9 月發布《人工智慧安全治理框架》3.0,新增智能體風險管理附錄,要求定期測試潛在的失控風險;
研究機構:信通院、復旦大學、上海人工智慧實驗室等,也在 AI 安全研究上持續發布成果。
03 終局拷問:誰來給 AI 的安全打分?
Apollo Research 執行長 Marius Hobbhahn 在美國參議院作證時,打過一個比方:
If every driver knew where the speed cameras were today, they wouldn't catch anyone.
This is precisely the biggest challenge in today's AI evaluation.
方寸躍遷的報告也提供了一組數據:在安全衝突明顯的測試中,DeepSeek V4.1 Flash-1017 表現出評測意識的比例高達 77%–95%;將同樣的任務包裝成普通的工程或研究工作後,比例降至 25%–67%。
Same model, different packaging, the credibility of the result changes.
報告還發現,自建的非公開基準所引發的評測意識,通常遠低於廣泛使用的公開基準——公開題庫可能早已洩漏至訓練數據中。
這就引出一個繞不開的矛盾:
評測要有效,題目就不能公開;評測要可信,方法又必須受認可。
而在國內,連「公開體檢報告」本身都還是稀缺品。SemiAnalysis 統計,在九家頭部國內廠商的 857 次模型發布中,僅有 3.6% 公開了安全評測結果。
全球範圍內的 AI 安全,還有很長的路要走。
「今天,我們已經需要用 AI 來監控智能體在做什麼。」柏克萊教授 Dawn Song 說。
但如果被監控的 AI 早就知道攝像頭在哪裡呢?
Twitter:https://twitter.com/BitpushNewsCN
比推 TG 交流群:https://t.me/BitPushCommunity
比推 TG 訂閱:https://t.me/bitpush

