アントロピックで事前学習に従事していた27歳の英国の研究者が公に辞任し、再帰的自己改善AIの開発競争がこの10年以内に人類の絶滅を招く可能性があると警告した。
ジェイコブ・コクソンは、世界で最も著名なAIセーフティ企業の一つを9月8日〜9日頃に去り、その去り際のメッセージは「エキサイティングな新しい章」についての丁寧なLinkedIn投稿ではなかった。彼のメッセージは、これらのシステムを構築している人々が、壊滅的な結果を生み出す可能性を本気で信じており、状況が制御不能になるまでのタイムラインは来年にも及ぶ可能性があるという警告だった。
内部者アラーム
コクソンの辞任を特に無視しづらくしているのは、その後に起きたことだ。彼のアンスロピックの同僚たちが、次々と彼の主張に賛同し始めたのである。
Anthropicのアライメントサイエンスリーダーであるイーヴァン・ヒュビンジャーは、ソーシャルメディア上でコクソンの主張を裏付けた。彼の個人的な推定では、今後10年以内にAIが大規模な人間の死亡を引き起こす確率は10％を超える。
ハビンガーはさらに、Anthropicには超知的システムとの整合性を確保する明確な計画がないことを認めた。
もう一人のAnthropicの研究者であるサミュエル・マークスも同様の懸念を示し、同社の上級社員が絶滅レベルのリスクに特に懸念していると指摘した。
コクソンは、AI開発の分野で「crunchtime」や「endgame」といった用語が使用されることを特に批判した。これらの言葉は、超知能の追求を緊急かつ避けられないもの、勝ち取るべき競争として描き、管理すべきリスクとは見なしていない。彼は、このような捉え方が問題の一部であると主張した。
出口のパターン
コクソンは、同社の方向性に懸念を抱いてAnthropicを去った最初のセーフティ重視の研究者ではない。2026年2月に同社のセーフガード研究チームを率いていたミリナンク・シャルマが辞任した。シャルマは、AIと生物兵器がもたらす危険の増大を指摘し、同社の倫理的行動を損なっているとされる外部からの圧力を挙げた。
皮肉が濃厚だ。Anthropicは、CEOのダリオ・アモデイを含む元OpenAIのスタッフたちが、OpenAIが安全性を十分に重視していないと感じたことで設立された。当初は安全性を最優先する代替選択肢とされていた。しかし今や、自社の安全性研究者たちがAnthropicも安全性を十分に重視していないと考え、次々と去ってきている。
競争を促進剤として
コクソンの警告では、特に中国のAI研究所からの国際的な競争が状況を悪化させる要因であると明確に指摘された。競合他社に遅れを取らないという圧力により、安全性を確実に確保するためにスピードを落とすことは、一方的な軍備縮小のように感じられる。