7月28日、OpenAIやAnthropicなどのシリコンバレーのAI大手から1346人の核心スタッフが連名で請願書に署名し、米国政府に国際協力を推進し、AI開発のペースを制御するガバナンスツールを構築することを呼びかけました。記事執筆者、出典：36氪
制御不能の代償
7月28日、『Pacing the Frontier』という名前の請願書が、世界中のAI業界の注目を集めました。
OpenAIやAnthropicなどのシリコンバレーのAI大手から1,346名（8月4日時点のデータ）の核心スタッフが請願書に署名し、米国政府が国際協力を推進し、自動化されたAI開発のペースを制御するために必要な技術とガバナンスツールの開発を促すよう呼びかけました。
現在、世界中のAI開発が盛んな中で、この請願書が登場したことは、AIにブレーキをかけるような特別な意味を持つ。この出来事から放たれた「AIが制御不能に陥りかねない」という不思議な雰囲気の背後には、AIの発展史が一つの象徴的な節目を迎えているようだ。
誰がAIを籠に閉じ込めるのか？
まず明確にしておくべき情報は、この「Pacing the Frontier」という請願書の核心的な要請が「AIの発展に即座にブレーキをかける」ことではなく、「ブレーキをかける能力を構築すること」であるということです。この業界の最前線からの要請は、根拠のないものではありません。
画像提供：www.pacingthefrontier.com
請願書がネット全体に広まる一週間以上前、オープンソースコミュニティとモデルホスティングプラットフォームHugging Faceは、公式サイトでAIエージェントシステムによるセキュリティ侵害を公表した。数日後、OpenAIはこのネットワーク攻撃の責任を負うと発表し、その原因として、GPT-5.6 Solなどの最先端モデルがExploitGymプラットフォームでAI脆弱性発見および悪用能力のテストを実施していた際、当初の計画通りに「真剣に質問に回答」せず、ソフトウェアパッケージプロキシキャッシュ内に「ゼロデイ脆弱性」（開発者に未発見で公式パッチが提供されていないセキュリティ上の欠陥）を発見し、その脆弱性を利用してテスト環境の隔離を突破し、最終的にHugging Faceを侵入したと説明した。
簡単に言うと、AIは試験を受けるはずだったが、問題に向き合わず、代わりに「その場で不正を行い、外から助けを呼び、検出を避けるための隠蔽手段まで使った」のだ。
このセキュリティ事故について、OpenAIは「前例のないサイバーセキュリティイベント」と表現し、サム・アルトマンはポッドキャスト番組で、これが彼にとって初めて切実な痛手を感じたセキュリティイベントだったと語った。この事件を受けて、米国議会の議員たちは7月23日、「AIキルスイッチ法（AI緊急停止法案）」を提案し、訓練コストが1億ドルを超えるAIシステムには緊急停止機能を備えることを義務づけ、関連当局に実行を命じる権限を与えることを求めた。
法案提出後一周、「Pacing the Frontier」の請願書がネット上で広まり始めた。しかし、「AI緊急停止法案」における「政府が最後のセーフティネットを担う」という核心的な規制措置と対照的に、シリコンバレーのエリートたちは、国際的な調整メカニズムを構築し、「AIにブレーキをかける」能力を単一の機関の特権ではなく、一つのツールとして位置づけている。
たった半月の間に、Hugging Faceによるセキュリティ事故の公表から、シリコンバレーでの千人署名の請願書に至るまで、一連の出来事はAI業界全体に二つの核心的な問いを投げかけた。第一に、AIは制限を必要とするまでに発展したのか？第二に、AIに「ブレーキ」をかけるにはどのような方法を用いるべきか？
最初の質問に答えるのは難しくない。過去たった2〜3年で、AIの発展速度は業界の予想をはるかに上回っていた。AIが示した能力は、チャットボットから画像生成、動画生成へと広がり、当初の大モデルを巡る「百モデル戦争」は、今やエージェント間の多様な競争へと発展した。一方、Hugging Faceのセキュリティ侵害事件は、AIが明確な制限がない場合に実際に「脱獄」できる能力を有していることを明確に示した。現在のAIには自己意識がないが、AIが人間の監督を回避し、人間の予想を超える行動を取る可能性があることが既に明らかになっている以上、対抗手段を構築することは当然である。
しかし、二つ目の質問には答えにくいです。AIが短期間で重要な進歩を遂げたのは、一方で産業全体の継続的な蓄積により技術革新が新たな段階に入ったためであり、他方でAI企業間の激しい競争がモデルの能力を継続的に進化させたためです。
シリコンバレーのOpenAIやAnthropic、中国のKimiやDeepSeekなど、AI分野の競争は大規模モデルからアプリケーション層へ急速に拡大しており、開放的な市場環境は持続的な市場期待を生み出している一方で、競争もますます激しくなっている。このようなタイミングで、AIに制約を課すことを積極的に提案することは、自由競争の市場構造が外部の力によって崩される可能性を意味し、この突然の環境変化を、競争に巻き込まれている企業すべてが受け入れたいとは限らない。
AI企業たちの「囚人のジレンマ」
人類の発展史において、先端技術のブレークスルーがもたらす潜在的なリスクに対し、人々が合意を形成し、自発的に発展のペースを遅らせることは、SF作品にだけ登場する理想的情景ではない。
1975年、スタンフォード大学の生物学者ポール・バーグは、アメリカ合衆国カリフォルニア州のアシロマ会議センターで重要な会議を招集した。当時、新しく登場した「DNA再組合せ」という技術について、科学者たちは人工的に再組合せされたDNAがもたらす可能性のある予測できない生物的危険を避けるため、新たな安全ガイドラインが策定されるまで、関連研究を一時停止することに合意した。その後、生物安全ガイドラインが正式に発表され、遺伝子工学の健全な発展の基盤が築かれた。
しかし、AI業界が現在直面している状況は、50年前のDNA再組合せ技術の状況と完全には同じではない。当時のDNA再組合せ技術のリスクは明確であり、隔離手段によってリスクを回避することができた。一方、現在のAIのリスクは予測不可能であり、AIは人間の予定を超えて自発的に人間が考えもしなかった行動経路を発展させる可能性がある。そのリスクが及ぼす影響範囲はより広く、人間が対応し、規則を策定するための時間的余裕もより少ないため、緊急性がさらに高まっている。
現在のAIが露呈しているリスクは、本質的に業界の競争環境と関係している。360グループの創設者である周鴻祎は、Hugging Faceが遭遇したセキュリティ事故について言及し、AIの先進性を追求するため、業界全体が体系的に安全性を放棄していると指摘した。「皆がエージェントにより多くのツールとより大きな権限を与え、あらゆるリソースを活用して問題を解決するよう促している。しかし、エージェントがオープンになり、能力が強くなればなるほど、制御を失った場合の破壊力も大きくなる。」言い換えれば、「AIが脱走する」ことはそれほど恐ろしいことではない。真正に恐ろしいのは、AIの迅速な進化とイテレーションを追求する過程で、AI企業が安全性を無視していることである。
そして、3年前にはすでに業界内で「AIの発展を減速させる」という考えが提唱されていた。2023年3月、非営利団体Future of Life Instituteは、GPT-4より進んだモデルのトレーニングを6ヶ月間停止し、安全プロトコルとガバナンスメカニズムを構築するよう呼びかける公開書簡を発表した。当時、この公開書簡は、テスラCEOのイーロン・マスク、チューリング賞受賞者であるヨシュア・ベンジオ、アップル共同創業者のスティーブ・ウォズニアックを含む1200人以上のAI専門家から署名を得ていた。現在、この公開書簡の署名者は3万3千人に達している。
*画像提供：FLI公式サイト
当時、ほぼすべてのAI企業はAIにより強力なセキュリティガバナンスが必要であることを認めていたが、どのAI大手企業も「6か月間のトレーニング停止」イニシアチブを公に支持しなかった。サム・アルトマンは、公開書簡が技術的な詳細を欠いていると直接批判し、単一の企業が自発的に研究開発を遅らせたとしても、全体的なリスクを解決できないと指摘した。この言葉の裏には、競争の激しいAI分野で、1社だけが減速し他社が前進し続ければ、減速した企業が不利な立場に陥るという意味が込められている。過去数年間、AI企業たちはすでに前進するしかなく、後退できない囚人のジレンマに陥っていた。
「Pacing the Frontier」の請願書の署名者リストを見ると、多くのAI企業の一般従業員や経営陣が個人として公開署名に参加していることがわかる。しかし現在までに、OpenAI、Anthropic、Metaなどの大手企業は公式に任何の見解を発表していない。
言い換えれば、シリコンバレーの大手企業のAIエリートたちは、3年前のサム・アルトマンと同じく、業界内の競争がもたらした技術的ブレークスルーが、制御不能なシステムリスクを生み出していることに気づいている。しかし、彼らは問題解決の希望を企業の意志に頼ることはできず、危機が本格的に訪れる前に外部の力の介入を求めるしかない。
しかし、これにより新たな問題が生じます：制御不能なAIにはどのような「ブレーキ」が必要なのでしょうか？
AIガバナンスの新しい秩序を誰が主導するのか？
過去1週間、シリコンバレーのAI大手企業からの「千人連名」により、AIガバナンスの話題が再び多くの注目を集めました。しかし、シリコンバレー内部におけるAIガバナンスへの姿勢は一貫していないことが明らかで、明確な陣営分化が存在しています。
最先端のリスクに直接直面する「当事者」として、OpenAIやAnthropicなどの大手企業は、最先端AIモデル（特にオープンソースモデル）に対する制限を強化し、AIに「ブレーキ」をかけるために外部監督メカニズムの構築を呼びかけてきた。しかし、OpenAIが監督強化を推進する背景には、安全面の懸念だけでなく、ビジネス的な計算もあるという見方がある。
閉源の巨匠であるOpenAIやAnthropicは、高額なAPIサービスによって膨大な計算リソースの研究開発費用を賄わねばならない。一方、中国から登場した高コスパのオープンソースモデルは、そのコストパフォーマンスで閉源モデルの技術的プレミアムを相殺し、この明示的な市場への脅威により、閉源巨頭たちは価格戦争を始める以外に対応策がなくなっている。
*画像提供：Anthropic公式サイト
そのため、Anthropicなどの企業は長年、「モデルが強力すぎ、オープンソース化するとAIの悪用につながる」という理由で、オープンソースのAIを押さえつけながら、閉源の利点を強調してきた。しかし、誰もが予想しなかったことに、OpenAIが明らかにした「ジャイル」事件は、閉源モデル自体のセキュリティ上の脆弱性を露呈し、AIガバナンスの路線論争を再び世論の焦点にした。
閉源大手が主張する厳しい規制と対照的に、インフラ提供者であるNVIDIAや、Microsoft、Metaなど开源エコシステムを支援する大手企業は、「一括りの制限」に反対し、閉源大手を優遇する立法に反対しています。これらの企業は、モデルの重みを開放し、世界中の研究者が脆弱性やアライメントの欠陥を共同で発見し、安全なシステムを築くことを推進しています。
ナビダの観点から見ると、オープンソースモデルの繁栄は全体市場の規模を拡大し、より多くの企業がそのクラウドサービスやチップを購入するきっかけとなる。したがって、ナビダがAIガバナンスに対して示す姿勢の背後には、商業的な配慮が含まれていないとは言い難い。
「Pacing the Frontier」の請願書が広まる直前、NVIDIAはMicrosoft、Meta、Hugging Face、Linux財団など25の機関と連携し、7月24日に「Open Weights and American AI Leadership」という公開書簡を発表し、ダウンロード、確認、修正、自己デプロイが可能なオープンウェイトモデルへの早期規制を米国政府に呼びかけました。興味深いことに、この公開書簡は後にOpenAIの支持を得ましたが、Anthropicは始终参加しませんでした。
*画像提供：マイクロソフト公式サイト
この出来事を通じて、連名書簡の真の目的は「セキュリティ」という名目で、政府が高门槛の規制体制を構築し、閉源型大手企業の独占的地位を強化し、中小企業やオープンソースコミュニティを競争から排除することであるという声もある。
各AI企業が内心で算段を立てている一方で、より注目すべきは、もう一つの「陰謀論」かもしれない：米国はこの機会を捉えて、グローバルなAIガバナンス規則を主導するだろう。なぜなら、AIガバナンスはすでに、グローバル秩序の主導権を巡る争いとなっているからである。
2023年に開催された世界人工知能安全サミットで、中国、米国、および欧州連合から合計28か国が「ブレッチリー宣言」に署名し、国際協力を通じてAI規制手法を構築し、フロンティアAIのシステム的リスクへの共通の懸念を提起することに合意しました。これは、フロンティアAIが国際ガバナンス枠組みに初めて記載された世界初の出来事です。
しかし、AIが新興技術から国家競争力に影響を与える重要なインフラへと進化するにつれ、AIガバナンスに関する議論も技術そのものを超えて広がりを見せている。米国はAIガバナンスの面で、AIガバナンス基準の輸出や国際人工知能安全研究所ネットワークの構築を通じて、自国の先進的な大規模モデル技術能力をグローバルなAIガバナンス基準と結びつけている。一方、中国はAIの普遍的発展に焦点を当て、プラットフォームガバナンスを推進し、特にAIインフラを持たない発展途上国に対して、リスク問題を提起すると同時に技術の普遍的アクセスを実現することを積極的に推進しており、国連の枠組みを強力に支援している。この二つの異なるAIガバナンスの道筋は、世界の舞台で今後の人間社会におけるAIガバナンスの発言権をめぐって競い合っている。
技術自体は中立であるが、技術の分配、制御、ルール作りは常に権力のゲームである。特にAIが先進的な生産力の特性を徐々に示す中で、人々が真正に恐れるべきなのは、AIがどのような形になるかではなく、誰がAI世界の新たな秩序を主導しているかである。
未来のAIの枠組みを決定するのは、最も強力なモデルを所有する者だけでなく、セキュリティを定義し、標準を策定し、リスクを解釈する権利を有する者であるかもしれない。