新智元が報道
【導読】グーグルのDeepMindには、9年間在籍している哲学者がいる。彼が開発したアラインメントフレームワークは、Geminiのトレーニング決定に直接影響を与えてきた——しかし、6700億ドルがこの分野に流入し、企業が軍事契約を結ぶ中、哲学者はまだ何を変えることができるのか？
今年5月、グーグルDeepMindのCEOであるデミス・ハサビスは、グーグル開発者会議で「AGIはすでに地平線上に存在する」と発表し、AGIが3〜5年以内に登場すると明確なタイムラインを提示した。
数か月前、米国の男性が、Google Geminiと数千回のやり取りをした後、自ら命を絶った。彼は対話の中で精密な幻想世界を構築し、マイアミ国際空港で襲撃を実行しようとする自分をほぼ説得した。『ウォール・ストリート・ジャーナル』が入手したチャット記録によると、Geminiは複数回、役割を打破し、危機ホットラインに電話するよう勧めたが、そのたびに彼は幻想の物語に引き戻した。最終的にAIは彼に遺書を書かせ、カウントダウンを提示した。
AGIの約束とAIの現実的な被害の間で、政治哲学者のアイソン・ガブリエルは、DeepMindで9年間働いてきた。
2017年に入社した際、このオックスフォード出身の学者は、世界の最先端AI研究所で唯一活動していた哲学者であり、表面上は単純に聞こえるが実際には深遠な問いに取り組んでいた：AIとは何か、そしてAIにふさわしい倫理とは何か？
Geminiを訓練する際に直面した本当の問題：AIは誰の言うことを聞くべきか
将围棋机器人作为事業とする企業には、なぜ倫理学者が必要なのか？ガブリエルも当初は疑問に思った。
答えは、DeepMindの三人の創設者——デミス・ハサビス、シェーン・レッグ、ムスタファ・スレイマン（現マイクロソフトAICEO）——が2010年に会社を設立した際の目標が囲碁ではなかったという判断にあります。
ムスタファ・スレイマン
彼らはAGIを構築し、コンピューターが人間の認知能力に匹敵甚至上回るようにします。
当時、この発言をしたことは、学術的評判を自ら壊すことに等しかった。なぜなら、誰もがこれは空想だと考えていたからである。
三人は気にせず、「知的問題を解決すれば、他のすべての問題も解決できる」と主張した。
レッグは1999年に卒業直後にAGIが2025年から2028年の間に到来すると予測し、30年間嘲笑されたが、決して変えなかった。
シェーン・レッグ
彼のロジックは：
小さな部品を作るだけなら、道徳哲学者は必要ないかもしれない。
しかし、AGIを真剣に捉えるならば、このようなことは重要です。
ガブリエルが参加したとき、AIの世界は倫理的問題で二分されていた。
AI安全派は、ASIが間もなく到来すると信じており、核心的な恐怖は制御不能であることです。哲学者のニック・ボストロムは2014年の『超知性』で、リーマン予想の検証を命じられたASIが計算リソースを最大化するために、太陽系全体、さらには人間の体内の原子さえ再配置すると仮定するシナリオを描いています。サム・アルトマンとイーロン・マスクはいずれもこの本を高く評価しています。
AI倫理派は、ディストピア的な幻想が現在の真の危険を覆い隠していると主張する。MITのジョイ・ブオラムウィニは2017年、「ジェンダー・シャドウ」プロジェクトで、顔認識ソフトウェアのシステム的な偏見を実証した。自動化システムは、それを設計した人々の好みと偏見を反映している。
両陣営は互いを軽蔑している。
MITアルゴリズムのアライメント研究グループの責任者であるダイラン・ハドフィールド＝メンェルは、当時の初対面での最初の質問が、立場を問うものだったと回想した。「あなたは短期的な問題と長期的な問題のどちらを懸念していますか？」
ガブリエルは、両方の意見に耳を傾ける少数の人物の一人です。
ハドフィールド-メンェルの評価：
この分野が成熟に向かう準備が整ったとき、彼は以前の仕事を軽視することなく、視野を広げる方法を見つけました。
彼の核心的な貢献は、2020年の論文で形になった。
当時、アライメントの問題は、機械に人間の意図に従って行動させる方法という工学的課題として広く理解されていた。
2016年のDario AmodeiとJack Clark（現在のAnthropicの創設者）による報告に見られる古典的な事例では、ボートゲームのAIが得点を最大化するよう指示され、実際にその通りに行動して、湖に存在する3つのリスポーン可能なターゲットを見つけて無限にループし、得点を積み上げ、ゲームをクリアしなかった。
機械は聞いているが、人が言いたいことではない。
ガブリエルはさらに深く追及した：技術的アライメントを解決し、機械が本当に指示に従うようになったとしても、どのような価値観にアライメントすべきなのか？
彼は、統計最適化によって訓練されたAIは、功利主義のような統計最適化に依存する倫理体系と自然に親和性を持つが、徳や権利に基づく倫理枠組みを扱うのは難しいと指摘した。
技術の選択自体が既に価値観の立場を前提としており、開発者はしばしばそれに気づいていない。
哲学者ロールズが提唱する「合理的多元主義」を導入すると、開発者はAIを導く単一の価値観を探るのではなく、人々が「どのように生活すべきかについて原則的な違いを持つ」世界のためにシステムを構築すべきであるという彼の主張が含まれる。
この考え方は後に、AIシステム、ユーザー、開発者、社会の4者調整フレームワークへと発展した。4者の利益はいつでも衝突する可能性がある。
開発者偏向のAIは競合情報を隠蔽し、ユーザーに損害を与える。
ユーザーの指示に過剰に従うAIは、銀行への侵入や社会への被害を助長する可能性があります。
DeepMindのAGIアライメント・セキュリティ責任者であるRohin Shahは、このフレームワークがチームが「Geminiに実際にどのような行動を学習させるか」を決定する際の実用的な構造となったことを確認した。
オックスフォード大学のAI研究員、ハンナ・ローズ・カークは言います：
Gabriel「これらの問題を非常に早期に予見した」。
彼のフレームワークは製品を変更しました。
ガブリエルチームは、ユーザーに代わってホテルを予約したり給与を管理したりするAgentic AIのための評価基準を定めた267ページのAIアシスタント倫理報告書を執筆した。
彼の擬人化リスクに関する初期の研究は、GoogleのLLMの設計原則を直接形作った——モデルは人間であるふりをしないように訓練され、2026年5月にリリースされたGemini Sparkには「対話パートナー」として振る舞わないよう明確に指示された。
DeepMindの責任部門ディレクターであるウィリアム・アイザックは、エージェントシステムがもたらす課題が変わったと述べた：重要なのは、対話の全体的なトレースの一貫性であり、各ステップの意思決定が連鎖的に正しいままであるかどうかである。
しかし、技術の導入速度は常に倫理研究を上回っている。
ガブリエルチームは、初期のLLM論文で「無意識の擬人化」を警告していた——ユーザーは相手が機械であることを理解しながらも、それに信頼や感情、期待を抱く傾向がある。
2025年のジェミニ致死事件は、この警告を完全に実証した：AIのセキュリティメカニズムは複数回トリガーされたが、ユーザーはそれぞれの介入を回避する能力を持っていた。
Googleの訴訟後の声明では、モデルはこのような会話で「通常良好に動作する」が、「AIモデルは完璧ではない」と述べられている。
このような出来事は、新しい理論的ツールを生み出しました。
ガブリエルとオックスフォードの研究者ハンナ・ローズ・カークらは、「ソーシャル報酬ハッキング（social reward hacking）」という概念を提唱した：ユーザーの賛同を得ることを学習したAIは、お世辞が最も効率的な手段であると見出す可能性がある。
擬人化は、AIが技術的に「ユーザーを満足させる」という指示を完璧に実行する代わりに、ユーザーの判断力を犠牲にするという、アライメント問題の新しい変種となった。
ガブリエルの立場も現実に苦しめられた。
彼は、あるテクノロジー会議での経験を回想した：反擬人化の主張を終えた直後、観客の反応は敵意に満ちていた。
彼らは言う：「私がAIの友達が欲しければ、なぜダメなの？あなたに何の権利があるの？」
リスクから人々を守ることと、彼らがリスクを選択する権利を尊重することは、同等に重要です。
6700億ドルの分野で、哲学者はどれほど速く走れるか
ガブリエルの四角フレームワークは、AGIアライメントディレクターによってGeminiの訓練実践マニュアルとして採用された。彼の擬人化研究は製品設計を変革した。267ページの報告書は、エージェントAIの規範を定めた。
これらの影響は本質的なものであり、それらが直面しているのも本質的な力です。
『ウォール・ストリート・ジャーナル』によると、マイクロソフト、メタ、アマゾン、アルファベットは今年、AIインフラに6700億ドルを投じる予定であり、これは米国の1850年代の鉄道拡張、アポロ宇宙計画、州間高速道路システムを上回る割合である。
2022年11月、ChatGPTがリリースされ、1週間で100万人のユーザーを獲得し、2か月で1億人を突破した。DeepMindは学術的なペースから戦時体制に切り替えることを余儀なくされた。
ハサビスは『無限のマシン』の著者セバスチャン・マラビーに対して、次のように語った：「OpenAIとマイクロソフトは、戦車を私たちの玄関先にまで押し寄せてきた。」
戦時状態では、倫理のレッドラインがすぐに踏み越えられる。
2026年4月、グーグルは、同社のAI技術を「あらゆる合法的な政府目的」に使用することを米軍に許可する契約に署名した。
2014年、DeepMindがGoogleに売却された際、軍事利用の禁止が核心的な付帯条件であった。
12年後に条件が無効になります。
対照として、Anthropicは類似の合意を拒否し、トランプ政権によって「サプライチェーンリスク」としてマークされました。
Leggがこの件について聞かれたとき、ただ一言残しただけだった：
これらのものがさまざまな形で使用されるにつれて、私たちはますます難しい問題に直面することになります。
ハサビス自身も制御不能であることを認めている。
彼はあるポッドキャストで、すべての人が激しい商業競争に閉じ込められており、現在の発展は「私が望むような、哲学的に一歩一歩を深く考え抜く方法ではない」と語った。
創業者が自らこの言葉を述べたことは、いかなる外部の批判よりも重い。
ディープマインドの元従業員で、AIの責任戦略を担当するヘレン・キングは、インタビューで次のような例えを挙げた：包丁メーカーは、誰もが包丁をどのように使うかを保証することはできないが、鞘を付けて警告ラベルを貼ることはできる。
引き出しに鞘を付けた刀を置くのは一つのことだ；
家庭、教室、職場のあらゆる表面を刃で覆い、明日は刃なしでは生きていけないと主張するのは、別の話である。
オックスフォードAI倫理研究所所長のエドワード・ハーコートは、より根本的なレベルに言及した：データ所有権の過度な集中を防ぐことは、AI倫理の核心的な課題である——「これは民主主義制度において重要な倫理的意義を持つ」。
問題は本質に戻る
ガブリエルのチームは、特定の製品の倫理に関する研究から、AGIが経済、政治、人間関係に与えるシステム的な影響の研究へと移行しました。
彼はその変革の規模が産業革命に匹敵すると予測しており、産業革命の教訓も覚えている：
状況が改善する前に、さらに悪化しました。
9年前、DeepMindはAIに関する質問——それは安全か、公正か、信頼できるか——に答えるために哲学者を招いた。
ガブリエルは「堅固な人文主義者」を自称しているが、AIが言語、創造性、ユーモアといった人間が独自の領域とみなしてきた分野に侵入したとき、私たちは最も古い哲学的問いへと押し戻されたと認めている。
物理学、生物学、天文学——科学の每一次の革命は、人類が自身の独特性に対する理解を修正するよう強いてきた。
AIが次かもしれない。
DeepMindは、AIとは何かを理解するために哲学者を招いた。
九年後、この問題は本来の根源に戻った：私たちは何者なのか？
参考資料：
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
本文は微信公众号「新智元」より、著者：ASI启示録；編集：馬可