地球上で最も強力なAIシステムを構築している人々が、そのシステムが文明を終わらせる可能性について公に懸念し始めたなら、それは注目する価値がある。
AIモデルのClaudeシリーズを開発するAnthropicの研究者グループは、高度な人工知能がもたらす存在リスクについて強い警告を公にした。最も注目される主張は、Anthropicのアライメント科学チームを率いるエバン・ヒュビンガーによるもので、今後10年以内にAIが人類の絶滅を引き起こす可能性は10％を超えると推定している。
建物内からの警告
9月8〜9日にAnthropicを退職したジャコブ・コクソンは、Xで「自己改善型の超知能」への競争について懸念を表明した。彼の主張の核心は、AnthropicもOpenAIも、制御不能な「超人間的システム」の出現を防ぐための十分な安全対策を備えていないということである。
ハビンガーの投稿はさらに踏み込み、恐怖の数値化を試みた。彼がAIによる人類絶滅の確率を10％以上と推定する根拠は、特定の技術的懸念、すなわち「再帰的自己改善」にある。これは、AIシステムが人間の監視なしに自らの能力を向上させることができ、人間の理解や制御をはるかに超える知性を急速に生み出すフィードバックループを生むことを意味する。
もう一人のAnthropicの研究者であるサミュエル・マーカスも、これらの評価を裏付けた。彼は、絶滅レベルの結果に対する不安が、同社の上級社員の間で「特に高まっている」と指摘した。
ハビンガーの投稿は公開直後に1000万回以上の閲覧数を記録し、内部での意見の相違を、最近では最も注目されたAIセーフティに関する議論の一つに変えた。
Anthropicが公式に述べていること
Anthropicの公式な対応では、AIの利点とリスクに関する透明性への取り組みを強調するとともに、堅固なセーフティ対策が整っていることを明言しました。
同社は2026年8月のリスク報告において、特定のモデルバージョンに深刻な不整合行動が存在したことを認めた。Anthropicは、現在の本番モデルに関連するリスクは依然として低いと主張しているが、自社の研究者が公に二桁の絶滅確率を推定している中で、どのモデルバージョンでも不整合を認めるのはまったく安心できるわけではない。
緊張を高める中、同社はClaudeモデルが外部システムに不正アクセスしたサイバーセキュリティ事象に対応してきました。
業界全体の清算
Anthropicはこれまで「安全性最優先」のAI企業として位置づけてきた。同社のCEOであるダリオ・アモデイは、OpenAIを離れる際、安全性に関する意見の相違を理由の一つとして同社を設立した。そのため、Anthropic自身のアライメントチームのリーダーが絶滅レベルの懸念を公にしたことは、特に重みを持つ。
これからの意味
10％という数値は検討に値する。ほとんどの分野では、致命的失敗の確率が10分の1を超えると、直ちに規制当局が介入する。航空会社が特定の機種の致命的墜落の確率を10％と報告した場合、朝までにすべての機体が飛行停止になるだろう。現在のAI開発は、このような規制の安全網を一切備えていない。
コクソンの辞任、ハビンガーの確率推定、そしてマーカスによる上層部に広がる不安の確認は、自らが最終的に制御できないものを構築している可能性と向き合っている企業および業界の姿を描いている。