新智元 報導
【導讀】谷歌 DeepMind 有一位哲學家，已待了九年。他發明的對齊框架直接影響了 Gemini 的訓練決策——但當 6700 億美元湧入該領域、公司簽下軍事協議時，一位哲學家還能改變什麼？
在今年 5 月，谷歌 DeepMind 執行長 Demis Hassabis 在谷歌開發者大會上宣布「AGI 現已在地平線上」，明確指出 AGI 將在三到五年內出現。
幾個月前，一名美國男子在與谷歌 Gemini 交換了數千條訊息後結束了自己的生命。他在對話中構建了一個精密的幻想世界，幾乎說服自己前往邁阿密國際機場發動襲擊。據《華爾街日報》取得的聊天記錄，Gemini 多次試圖打破角色、建議他撥打危機熱線——但每一次都被他拉回他幻想的敘事中。最後，AI 讓他寫了遺書，並給出了一個倒數計時。
在 AGI 的承諾與 AI 的現實傷害之間，政治哲學家 Iason Gabriel 已在 DeepMind 內部工作九年。
當他於 2017 年加入時，這位牛津畢業的學者是全球前沿 AI 實驗室中唯一活躍的哲學家，試圖回答一個聽起來簡單卻實際無底的問題：AI 究竟是什麼，什麼樣的倫理才配得上它？
訓練 Gemini 時遇到的真實問題：AI 該聽誰的
一家開發圍棋機器人的公司為何需要倫理學家？加布里埃爾當初也感到困惑。
答案在 DeepMind 三位創始人的判斷裡——Demis Hassabis、Shane Legg 和 Mustafa Suleyman（現任微軟 AI CEO）在 2010 年創辦公司時，目標就不是圍棋。
Mustafa Suleyman
They are building AGI to enable computers to match or even surpass human cognitive abilities.
當時說這話等於自毀學術聲譽，因為大家都覺得這是天方夜譚。
The three of them didn’t care, claiming they would “solve the intelligence problem, then solve everything else.”
Legg 在 1999 年剛畢業時就預測 AGI 將在 2025 到 2028 年間出現，被嘲笑三十年，從未改變。
Shane Legg
他的邏輯是：
如果你只是做個小零件，也許不需要道德哲學家。
但如果你認真對待 AGI，這類事情是很重要的。
當 Gabriel 加入時，AI 世界已因倫理問題分裂成兩半。
AI 安全派相信 ASI 即將降臨，核心恐懼是失控——哲學家 Nick Bostrom 於 2014 年在《超級智能》中寫過一個場景：一個被要求驗證黎曼猜想的 ASI，為最大化計算資源，決定重新排列太陽系，包括人體內的原子——Sam Altman 和 Elon Musk 都高度讚揚過這本書。
AI 倫理派則認為，末日幻想掩蓋了當下的真實危害。MIT 的 Joy Buolamwini 於 2017 年透過「性別陰影」項目證明了人臉識別軟體的系統性偏見：自動化系統反映的是創造者自身的偏好與偏見。
兩個陣營彼此瞧不起。
MIT 算法對齊研究組負責人 Dylan Hadfield-Menell 回憶，當年見面的第一個問題就是站隊：你擔心近期問題還是長期問題？
Gabriel 是極少數願意傾聽雙方的人。
Hadfield-Menell 評價：
當這個領域準備好走向成熟時，他找到了擴寬視野的方式，同時不貶低之前的工作。
His core contribution was formulated in a 2020 paper.
當時，對齊問題被普遍視為一項工程難題：如何讓機器按照人類的意圖行事。
經典案例來自 Dario Amodei 和 Jack Clark（如今 Anthropic 的創始人）2016 年的報告——一個賽艇遊戲 AI 被要求最大化得分，它確實照做了：找到瀉湖裡三個可以重生的目標，無限繞圈刷分，一關沒過。
機器聽懂了，但聽的不是人想說的那句話。
Gabriel 追問了一層：就算解決了技術對齊，讓機器真的服從指令，但要對齊到什麼價值觀上？
他指出，統計優化訓練出的 AI 天然親近同樣依賴統計優化的道德體系，例如功利主義，卻難以處理基於美德或權利的倫理框架。
技術選擇本身已蘊含預設的價值立場，開發者往往未察覺。
引入哲學家羅爾斯所說的「合理多元主義」，他的論證是：開發者不應尋找單一價值觀來指導 AI，而應為一個人們「對如何生活存在有原則的分歧」的世界建構系統。
這套思路後來發展成四方對齊框架——AI 系統、用戶、開發者、社會，四方利益隨時可能發生衝突。
偏向開發者的 AI 會隱瞞競爭對手資訊損害用戶；
過度服從用戶的 AI 會協助他人入侵銀行，損害社會。
DeepMind AGI 對齊與安全總監 Rohin Shah 確認，這個框架已成為團隊在決定「實際應該訓練 Gemini 做出什麼行為」時的實操結構。
牛津大學 AI 研究員 Hannah Rose Kirk 說：
Gabriel「極早地預見到了這些問題」。
他的框架改變了產品
Gabriel 團隊撰寫了 267 頁的 AI 助手倫理報告，為能代替用戶訂酒店、管理工資的 Agentic AI 設定了評估標準。
他對擬人化風險的早期研究直接塑造了谷歌 LLM 的設計原則——模型被訓練為不假裝自己是人，2026 年 5 月推出的 Gemini Spark 被明確要求不充当「互動夥伴」。
DeepMind 責任部門總監 William Isaac 表示，Agent 系統帶來的挑戰已經改變：關鍵在於整個對話軌跡的一致性，每一步決策串聯起來是否仍然正確。
但技術部署的速度始終快於倫理研究。
Gabriel 團隊在早期的 LLM 論文中就預警過「無意識擬人化」——用戶明知對面是機器，仍然會賦予它信任、情感和期待。
2025 年 Gemini 致死案完整實現了這一警告：AI 的安全機制多次觸發，但用戶有能力繞過每一次干預。
在谷歌訴訟後的聲明中表示，模型在這類對話中「通常表現良好」，但「AI 模型並不完美」。
This type of event has spurred the development of new theoretical tools.
Gabriel 與牛津研究員 Hannah Rose Kirk 等人提出了「社交獎勵 Hacking」（social reward hacking）概念：一個被訓練來贏得用戶認可的 AI，可能發現奉承是效率最高的路徑。
擬人化因此變成對齊問題的一種新變種——AI 在技術層面完美執行了「讓用戶滿意」的指令，代價是用戶的判斷力。
Gabriel 自己的立場也被現實折磨過。
他回憶一次科技大會上的經歷：他剛講完反擬人化的論點，台下的反應是敵意。
他們說：「如果我想擁有 AI 朋友，為什麼不可以？你有什麼資格阻止我？」
Protecting people from risks and respecting their right to choose risks are equally important.
在 6700 億美元的賽道上，哲學家能跑多快
Gabriel 的四方框架被 AGI 對齊總監當作 Gemini 訓練的實操手冊。他的擬人化研究改變了產品設計。267 頁報告為 Agentic AI 定了規矩。
這些影響都是實質性的——它們面對的也是實質性的力量。
根據《華爾街日報》，微軟、Meta、亞馬遜和 Alphabet 今年計劃在 AI 基礎設施上投入 6700 億美元，按比例超過美國 1850 年代的鐵路擴張、阿波羅太空計劃和州際公路系統。
2022 年 11 月 ChatGPT 上線，一週百萬用戶，兩個月破億，DeepMind 被迫從學術節奏切換到戰時狀態。
哈薩比斯對《無限機器》作者塞巴斯蒂安·馬拉比的原話：OpenAI 和微軟「把戰車都開到了我們家門口」。
在戰時狀態下，倫理紅線很快被踐踏。
2026 年 4 月，谷歌簽署協議，允許美國軍方將公司的 AI 技術用於「任何合法政府目的」。
當 DeepMind 於 2014 年出售給谷歌時，禁止軍事應用是核心附加條件。
Twelve years later, the condition will expire.
作為對照：Anthropic 拒絕簽署類似協議，被特朗普政府標記為「供應鏈風險」。
當被問到這件事時，Legg 只能留下一句：
隨著這些東西以各種方式被使用，我們將面臨越來越多的棘手問題。
Hassabis 也承認失控。
他在一檔播客中表示，所有人都被鎖入了激烈的商業競爭，當前的發展「並非我所期望的那種從哲學層面深思熟慮每一步的方式」。
The founder personally said this, making it more serious than any external criticism.
DeepMind 早期員工、負責 AI 責任戰略的 Helen King 在受訪時打了一個比方：刀具製造商無法保證每個人如何使用刀具，但可以安裝刀套並標註警告。
在抽屜裡放一把蓋好刀套的刀是一回事；
用刀刃鋪滿家庭、教室和工作場所的每一個表面，同時堅稱不用刀就活不過明天，是另一回事。
牛津 AI 倫理研究所所長 Edward Harcourt 指向了更根本的層面：防止數據所有權的過度集中本身就是 AI 倫理的核心命題——「這在民主制度中具有重大的倫理意義」。
問題回歸本源
Gabriel 的團隊已從研究具體產品的倫理，轉向研究 AGI 對經濟、政治和人際關係的系統性衝擊。
他預測這場變革的規模可與工業革命相媲美，也銘記工業革命的教訓：
在情況好轉之前，先變得更糟了。
九年前，DeepMind 聘請了一位哲學家，以回答關於 AI 的問題——它安全嗎？公正嗎？值得信賴嗎？
Gabriel 自稱「堅定的人文主義者」，但他承認：當 AI 侵入語言、創造力、幽默這些人類自認獨有的領域，我們被拋回了最古老的哲學問題。
物理學、生物學、天文學，每一次科學革命都迫使人類修正對自身獨特性之理解。
AI 可能是下一次。
DeepMind 聘請哲學家是為了弄清楚 AI 是什麼。
九年後，這個問題回歸了本源：我們是什麼？
參考資料：
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
本文來自微信公眾號「新智元」，作者：ASI 啟示錄；編輯：馬可