Anthropic CEO、急速な技術進化に伴いAI政策フレームワークを提案

最近、トップAI企業AnthropicのCEOであるDario Amodeiが、ネット全体を巻き込む1万字を超える長文『AI指数時代の政策』を発表した。全文は5つの政策分野に焦点を当て、彼の観察を非常に詳細に記述し、規制から地政学に至るまでの体系的な提案を提示している。

（原文リンク：https://darioamodei.com/post/policy-on-the-ai-exponential、本文末尾に中国語版全文を掲載します。

「世界を変える」と口にするだけで、ただ空想に頼るシリコンバレーの業界の中で、ダリオは稀な清流である。

彼は非常に率直で、いわば「大義滅親」的に、テクノロジー業界が覆い隠してきた偽装を暴いた。

業界内の人々は、一般の人々がAIに対して抱く懸念を「パブリックリレーションズがうまくいっていないせいだ」と言いがちだが、ダリオははっきりと反論した。人々が懸念するのは、リスクが現実に存在するからであり、決してパブリックリレーションズの問題ではない。

彼は、テクノロジー大手が极力回避している真実を直接認めた。AIは、深刻で持続的な失業潮を引き起こし、経済を「超成長と超不平等」の極端な状態に陥らせる可能性が高い。

しかし、この業界の最前線に立つ「通報者」が提示した解決策をさらに推し進めると、深く考えさせられる構造的パラドックスが見えてくる。

責任感の強いこの経営陣は、業界に制約を課すと呼びかけながら、客観的には前例のない権力の移譲を推進しようとしている。シリコンバレーのエリートたちは、人類社会のルールを書き換えている。

急速に進化するAIに焦ったダリオは、政府がAIを航空機や薬品のように規制するよう提案した。

例えば、連邦航空局（FAA）のような仕組みを導入し、計算能力が基準を満たす最先端モデルには、第三者による強制的なセキュリティテストに合格することが求められ、合格しない場合は公開を許可しない。

出発点は明らかに人間の安全のためである。

しかし、商業の進化の客観的法則から見ると、航空業界が高度に集中した寡頭独占であるのは、コンプライアンスコストが途方もなく高いからである。

AI業界が本当に「FAA化」すると、高額な監査料、定期的なレッドチームテストおよびペネトレーションテストが、堅固な「嘆きの壁」となるだろう。

規制は、時としてリーダーの護城河である。スタートアップやオープンソースコミュニティには、その費用を負担する余裕がまったくない。

最終的な結果として、大手企業たちは人類全体の安全に対する「大愛」を理由に、客観的に公権力を借りて合法的に市場を整理し、自らの寡頭的地位を法律に書き込んだ。

医療と地政学の分野でも、この繊細なロジックが存在します。

ダリオは、FDAなどの従来の機関に対し、AIによる薬物開発の承認を緩和し、長期間にわたる臨床試験の代わりにAIシミュレーションを受け入れるよう呼びかけている。出発点は良いが、これは最も強力な計算能力を有するAI大手が、兆ドル規模の医薬品市場に対して降维攻撃を行う道を明確に開いた。

同時に、彼は内部でチップを共有し、外部には厳重に防衛する「民主国家AI同盟」を構想した。

この連合が設立された場合、誰が技術を提供するのか？誰が排除されるのか？誰が敵対されるのか？このプロセス全体で、誰が利益を得るのか？

技術的差異を維持するために、テクノロジー大手は単なる技術提供者ではなく、自然と新しいゲームのルールメーカーとなり、巨額の国防予算を受託する新型の「デジタル軍産複合体」にまで変貌する可能性がある。

歴史の伏線をたどれば、これらはすべてすでに予兆されていた。

歴史的に、企業が十分に巨大になると、しばしば「国家を俘獲する」または「準国家的な特徴を採用する」傾向がある。Dario自身は、文中で英国の東インド会社という非常に正確な類比を挙げている。

東インド会社は当初、香料貿易を行う商人の集まりにすぎなかったが、航路の保護と広大な国際的利益を管理するために、次第に軍隊を徴募し、裁判所を設立し、通貨を発行するようになり、最終的に南アジアを統治する「準国家」となった。

今日のシリコンバレーの巨匠たちは、まったく同じ道を歩んでいる。

当時の媒体は堅船利炮だったが、今日のそれは計算能力である。

ダリオは、驚異的な未来を予測した：AIが指数関数的に進化し続けるなら、それは「データセンター内の天才の国」になるだろう。AIはあらゆる分野の天才の集合体であり、強力なAIを所有することは、国家規模の天才たちが自分に従うことを意味する。したがって、強力なAIを有する軍隊が、AIを持たない軍隊と対峙したとき、その差は「第二次世界大戦の海兵隊が中世の剣士と戦う」ようなものだ。

大手テクノロジー企業が金融崩壊を引き起こし、生物兵器を製造し、さらには世界の地政学的構図を決定できる超技術を掌握する中、従来の国家機関はそれらを効果的に制約できなくなってきている。

大手企業たちはすでに自らセキュリティ基準を策定し、モデルを自前でテストし、国際的な同盟案を考案しようとしている。

これは彼らが一団の邪悪な野心家であるからではなく、技術がこの規模に発展した結果、権力の空白と人間の複雑さが、彼らを自然と類似の道へと導いたからである。

このような計算能力がすべてを決定する時代において、個人の力は無限に圧縮されているようだ。

ダリオは容赦なく真実を暴いた：AIが置き換えるのは、単なる体力労働ではなく、人類が誇ってきた認知能力そのものである。

AIという「すべての天才が集う国」の前で、私たちが職場で磨いてきた論理的推論やプランニングが子供遊びのように思えるとき、私たちはどう振る舞えばよいのか？

大手が提案する解決策は、全民基本收入（UBI）などのマクロ経済的支援である。働かなくても、国がお金を支給して生活を支える。

しかし、仕事は守れたが、心の大きな穴は誰が埋めてくれるのか？

おそらくダリオが文中で用いた比喩のように、機械が既にチェスや囲碁で人間を圧倒しているにもかかわらず、人々は依然として人生をチェス盤に捧げ、称賛され続けるのです。

機械が導き出すのは冷たい「最適解」であり、人間が追求するのは生き生きとした「体験そのもの」である。

標準化できないそのような特性が、未来で最も希少なリソースとなる。

『指輪物語』のサブストーリーで、2人のホビット人が、知性に富みながら行動が極めて遅い意識を持つ木人であるツリーボードを起こし、森を伐採しようとする軍隊から森を守ろうとする。問題は、ツリーボードの行動速度がホビット人とまったく異なることだ。彼が他の木に挨拶するだけでも1日かかってしまうため、彼と仲間たちが十分に迅速に行動することはほぼ不可能である。

人工知能（AI）と私たちの政治制度との交差点は、ホビット人とツリー・イームのそれのように感じられる。AIは光速の速さ（俚語/習語、極めて速い速度を意味する）で進化しており、たった四年で、AIモデルはほぼ一行も整合性のあるコードを書けない状態から、主要なAI企業のコードの大部分を自ら書き上げるまでに至った。生物学、物理学、数学、金融、法律、翻訳、そしてその他の多くの分野でも同様の進展が見られている。計算能力の増加に伴い、汎用認知能力が指数的に向上するというAIのスケーリング法則には、現在までに10年以上にわたる実証的証拠が存在する。もしこのスケーリング法則がさらに一〜二年続くならば、我々はおそらく私が「強力なAI（Powerful AI）」、あるいは「データセンター内の天才国家」と呼ぶものを得ることになるだろう。

一方で、政策、特に立法は非常に遅く進みます。これは通常、十分な理由があります。政府は極めて重大的な権力を有しており、その権力を軽率に行使しないことが通常は最善です。しかし、この時間スケールの不一致は依然として非常に苦痛です。議会が行動を起こすのに数年かかる間に、AIは興味深いおもちゃから本物の天才の国に変貌する可能性があります。

過去数年間、AIが主要なビジネス技術となった以来、それを責任を持って扱いたいと考える私たちにとって、二難の状況に直面してきました。私たちはこの指数的な成長の方向性を明確に見ています。数年以内に、AIは核兵器が地政学を再定義し、産業革命があらゆる経済的・社会的課題を根本的に変容させたように、政策の枠組みそのものを再定義する稀な技術の一つになると強く疑っています。しかし、AIがその時点ですでに何ができるかにのみ注目する人々にとっては、それは非常に平凡な技術に見えます——最新の消費者アプリや暗号資産と似たようなものです。ほとんどの政策立案者や企業に、放任主義（laissez faire）の姿勢以外に意味のある対応があることを説得するのは困難です。公平に言えば、AIの劇的な影響はまだ現れておらず、それがどのような形で現れるのか正確には分かっていないため、行動する意欲があっても、適切な政策を設計するのは困難です。

このような状況が課す制約の下で、多くの安全保障推進者（Anthropicを含む）は、選択肢を維持し、今後の迅速な対応に備え（tee up、スラング/慣用句、準備を整える、土台を築くという意味）、または世界が近い将来に起こること（coming down the pike、スラング/慣用句、近い将来に起こるまたは現れる出来事という意味）をよりよく理解できるようにする政策行動、例えば透明性に関する立法、チップの輸出規制、およびAIが労働力に与える影響に関するデータ収集に重点を置いてきました。これらは十分ではありませんが、現在できることのすべてのように感じられます。

しかし、過去数ヶ月の間に、AIの信じがたい力とそのリスクに関する証拠は否定できなくなっている。おそらく最も象徴的な例はClaude Mythos Previewであり、フロンティアモデルがサイバーセキュリティに非常に現実的なリスクをもたらし、金融部門、重要なインフラ、国家安全保障を破壊する可能性を生み出したという発見である。Mythos Previewはグローバルなサイバーセキュリティの構図を完全に混乱させた（scrambled，俚語/引申義，意为使陷入混乱、打乱）。しかし、そのより広範な意味は、AIモデルが今やグローバルおよび国家戦略的なツールとなったことを疑いなく示している点にある。Mythosレベルのモデルがもたらすサイバーリスクは、私たちが直面しなければならない最後のリスクではない。私は生物リスクがまもなく続く可能性があり、その後には深刻なAI自律性のリスクが続くと考えている（注釈1）。

私たちは今、今後驚異的な速度で複合的に増加するリスクと機会に対応するために、世界的に遅く、不安定な政策機関を立ち上げる必要に迫られています。多くの政策立案者が行動を取る姿勢をますます開かせているのは励みになります。私たちが過去数年間提唱してきた同じ立場に、同業者たちが徐々に賛同し始めているのを見るのは喜ばしいことです（come around to、習語、意为改变观点以赞同）。これは良いことですが、私はこれらの初期の行動がAIの急速な進歩と比べて少なくとも1年遅れていると懸念しています。この記事はそのギャップを埋めることを試みます：指数的成長が現在どの段階にあり、その重要な瞬間に立ち向かう（meet the moment、習語、意为应对当前的关键时刻/挑战）ために必要な集団的行動を明確にします。

私は、AIの世界で再考が必要な5つの恒常的な政策分野に焦点を当てます：規制と公共の安全、マクロ経済および税制政策、科学イノベーション、国家と社会の間の権力バランス、そして地政学です。私はAnthropicが米国企業であるため、主に米国政策の観点から述べますが、私が提案するほとんどの提言は世界の他の地域にも関連しています。

この記事に併せて、Anthropicは先進モデルのテストに関する立法提案と、職業喪失に関する政策フレームワークを発表する予定であり、これに対して多額の財政的支援を提供する予定です。今後さらに多くのことを計画していますが、これらを私たちの真剣な姿勢を示す第一歩と位置づけています。

1. 規制と公共の安全

あらゆる新技術や新製品には有益な用途と有害な用途の両方が存在するため、イノベーションとセキュリティの間にはジレンマが生じる。製品を規制することは、その危害を減らす可能性を低下させ、世界中の人々の生活の向上に重要な役割を果たすが、同時にその恩恵を直接削減し、間接的にイノベーションを抑制する可能性もある。ここにはハ耶克主義の観点もあり、規制当局は複雑な経済的トレードオフについて適切な判断を行うために必要な情報を通常持っていないため、規制は通常無効かつ煩雑である。関連する概念としてコリンリッジのジレンマがあり、これは技術の影響は通常、管理が困難になるまで予測が難しいことを示している。

2023-2024年において、これらの動向はAI分野で特に顕著であった（loomed large、習語で、目立つ、注目される、または恐ろしく見えることを意味する）。Anthropicにとって、AIが将来的に数百万の人々を脅かす生物兵器を製造する能力を持つ可能性、またはその自律性による不適切な行動が極端な場合、人間そのものを脅かす可能性があることは明確である。しかし、リスクがどのような具体的な形で現れるのか、それらをどのように最も効果的にテストし、緩和すべきか、そして実際にはどのように展開するのか（play out、習語で、発展し、結果を生むことを意味する）ははっきりしていない。したがって、事前に起草された立法は無効になる高いリスクを抱えており、無意味または低価値なコンプライアンス要件を生み出し、実際のリスクの最も重要な源泉を見逃す可能性がある（注釈2）。

最終的に、当時正しい方法は透明性であると結論づけました。AIモデルの開発者は、セキュリティプロシージャとモデルで実施したテストを必ず開示し、重要なセキュリティイベントを報告することで、一般市民と科学界がリスクが発生した際にそのリスクをよりよく理解できるようにする必要があります。リスクがより明確になり、その形態がより明瞭になった時点で、透明性によって得られた証拠を活用して、最も懸念されるリスクに的確に対処するための賢明な立法を設計できます。したがって、2025年にはAnthropicは透明性に関する立法を支持し、カリフォルニア州のSB 53、ニューヨーク州のRAISE、イリノイ州のSB 315（2026年初頭に可決）の成立を支援し、連邦レベルでの透明性基準の策定を推進しました。

しかし、現在のリスクはすでに明確に現れてきています。透明性を超えて、AIに対してより真剣で拘束力のある規制を導入する時です。私は、少なくとも指数的成長の現在の段階では、自動車、飛行機、または薬品が最良の類似例であると考えます。これらは現代経済に不可欠な強力な技術ですが、設計や運用が不適切であれば、多数の死者を出す可能性があります。したがって、私はFAA（米国連邦航空局）などの機関をモデルとしてAI規制枠組みを策定すべきだと考えます。最先端のAIモデルは飛行機のように、技術的なテストと監査を受けるべきであり、高い安全基準を満たさない場合は、公共の安全への脅威と見なしてリリースを阻止または撤回すべきです。トランプ政権の行政命令が、政府がAI分野でより積極的な役割を果たす方向へ進んでいることを歓迎しますが、Anthropicの提案はさらに一歩進んだ措置を提唱しています。私たちの提案には以下の要素が含まれています：

• 一定の算力閾値を超えるモデルは、サイバーセキュリティ、生物兵器、AIシステムの制御喪失、およびこれらの他のリスクの自動化された開発を加速する可能性の四つの特定分野におけるリスクレベルを評価するために、適格な第三者による強制テストを受ける必要があります。
• 第三者による評価に基づき、そのモデルに受け入れがたいリスクが存在すると判断された場合、政府はそのモデルの展開を阻止または抑止する権限を有すべきである。この権限は、上記の四つの具体的なリスク範囲に限定され、政治的偏りや武断的な決定に対する保護措置を備える必要がある。
• 第三者評価は、政府機関（FAAに類似）または政府から認可を受けた複数の民間組織によって、特定の基準に基づいてモデルを評価するために実施できます（「規制市場」アプローチ）。
• 先進なAIモデルを開発するAI企業は、モデルの重みを保護するための強力なセキュリティ基準を備えるべきであり、定期的なレッドチームテストとペネトレーションテストを実施し、主要な脅威行動者に対する防御のために政府と協力すべきである。
• この4つの重要な分野のセキュリティイベントは、適時に対応する必要があります。

ある日、おそらくすぐにも、最も強力なAIシステムが飛行機や自動車のように見えず、むしろ兵器化可能な核物質のように見えるようになったとき、それは単なる公共の安全への脅威ではなく、人類全体への脅威となるため、私たちはその一歩を越える必要がある。 もし那样的な状況が発生した場合、私が上記で列挙したよりもはるかに急進的な規制措置を講じる必要があるかもしれない（注釈3）。 しかし、2024年において私が提案する措置を特定し適用することが難しいように、私たちは過剰に先走るべきではない。 私たちは、今日出現している危険に対応する政策を設計しつつ、新たな危険が出現した際に迅速に対応を強化できる基盤を築くべきである。

2. 宏観経済と税制政策

長年にわたり、各国政府は経済成長を促進しながら、重要な公共サービスを提供し、最も弱い立場にある人々を支援する方法に直面してきました。これらの議論の重要な（かつ全体的に正しい）前提は、経済成長が脆弱で実現が難しいということです。不平等の是正は重要な利点をもたらす可能性がありますが、それは増税や赤字による経済的抵抗と天秤にかけられる必要があります。

私は、強力なAIがこの仮定を混乱させる可能性があると考えています。AIが人間よりもはるかに優れた能力でほとんどの認知タスクを実行できるようになると、科学、技術、運用効率の加速を通じて、極めて急速かつ強力な経済成長をもたらす可能性があります。AIがより優れたAIを構築するという反復的な能力は、この成長をさらに強化するかもしれません。しかし、まったく同じ理由から、AIは以前の技術よりも、人間の認知能力に対するより広範な経済的代替手段となり、以前の技術よりもはるかに速く経済を変革する可能性があります。したがって、以前の技術と比較して、AIが労働市場にはるかに大きな、そして潜在的により持続的な混乱をもたらす可能性があると考える根拠があります。私たちが直面するリスクは、最終的に経済的トレードオフのダイヤルが「超成長」「超不平等」という設定に固定され、その設定から抜け出すのが非常に難しくなる世界に入ってしまうことです。このような世界では、成長を促すことが主な課題ではなく、すべての人がその恩恵を共有できる方法を見つけることが重要な課題になります。

この記事で取り上げたテーマの中で、マクロ経済と持続的な労働力の代替は、最も多くの一般の注目を集め、最も多くの誤解を生んでいるため、明確に二点を述べたいと思います。

まず、持続的な職業の喪失は望ましくなく、危険であるため、それを促進するのではなく、可能な限り最小限に抑え、防止するためにあらゆる努力を払うべきです。 私はインタビューや記事で職業の喪失について警告してきましたが、これは「末日予言者」になろうとしているからではなく、政策立案者や民間セクターが適応し対応するための最良の機会を提供したいからです。 当社であるAnthropicは、コスト削減（通常は人員削減を意味する）にのみ注目するのではなく、既存の労働力を活用してより多くのことを実現できるよう、創造的な新しい用途や新たな収益源を顧客と協力して模索することを常に心がけています。 これらのシステムが進化するにつれて、私たちはAIシステム内で協力する人間が可能な限り積極的な役割を果たせるような新しいインタラクション・パラダイムを常に模索しています。 より広く言えば、世界全体がAIを可能な限り多くの新しい方法で活用することには価値があります。 なぜなら、それが社会が新たな潜在的な雇用構成を見出す道だからです。 私はAIが大量の新たな経済的機会をもたらすと確信しています。 私は以前、AIによって単一の個人が十億ドル規模の企業を立ち上げられるようになると予測しましたが、すでに数人規模のチームが数億ドルの収益を上げる企業を築き上げている事例が実際に見られています。 しかし同時に、私たちがあらゆる努力を尽くしたとしても、AIは依然として深刻で持続的な失業を引き起こす可能性が高いことを認識すべきです。 これは、この技術の本質的特性およびそれが人間の認知を広範に模倣する性質によって決定される可能性があります（注釈4）。

次に、AI駆動の職業喪失への対応策は、すべての人々に経済的保障を提供する必要性と、人々が意味・目的・能動性を見出す必要性の両方を解決しなければならない。 後者は最終的により重要であり、社会をどのように組織すべきか、人々が何を追求すべきか、そして何が豊かな生活を構成するかという深層的な問題に依存している。 実際、私は、あらゆる面ですべての人々よりも優れたAIが存在する世界においても、人類は依然として深い目的を持って生活し、畏敬の念を抱くような美しさを生み出す努力を続けることができると非常に楽観的に考えている（注釈5）。 しかし、これは政策が直接解決できる問題ではなく、社会全体で取り組むべき課題である。 政策が最も効果を発揮するのは、失業の速度を緩和し、影響を受ける可能性のある人々に経済的保障を提供することで、この課題に取り組む時間を確保することである。

この精神に基づき、役立つ可能性のある主要な政策対策には以下が含まれます：

• 測定と追跡。単なるデータ収集と分析を、問題の規模に対応するには不十分だと見なして否定するのは容易だが、実際に起こっていることを正確に測定できない限り、良い政策を策定することは難しい。Anthropicは、人々がClaudeをどのように使用しているかに関する経済指標を約1年半にわたり運営してきたが、政府は私たちが得られないタイプのデータを入手でき、AIによる失業状況をより詳細に追跡するために、経済統計を大幅に拡大できる。
• 雇用促進のインセンティブ。広範な雇用促進政策インセンティブは、職位の喪失を緩和または削減するのに役立つ。これには、人々が低賃金の仕事に就かざるを得ない場合に補填する給与保険政策（注釈6）、雇用主が解雇を行わないように促す雇用維持税制インセンティブ、労働力訓練補助金、または労働市場の適応を加速するための雇用主と労働者のマッチングを促進するインフラストラクチャが含まれる。AIがもたらす労働力代替の種類に応じて、どの介入措置が最適かという詳細は異なるが、これらの政策に伴うコストや市場効率の低下を受け入れるべきである。特に、それらはAIによって推進される生産性の向上によって相殺される可能性があるためである。
• 長期的なマクロ経済的支援。AI駆動の労働力代替が最終的に大規模になり、労働需要を恒久的に低下させる場合、単なるインセンティブ計画を超えて、大規模な労働力に対して長期的な収入支援を提供することが必要となる可能性がある。ユニバーサル・ベーシック・インカムなどのメカニズムは、関連企業への課税や資本利得税の引き上げによって資金を調達できる。ユニバーサル・キャピタル・アカウントは別のツールを提供する。広く言えば、急速な経済成長は共通の繁栄のための税基を創出するはずである。

AIに関する経済的懸念の中で、私が言及しなかった共通の焦点は、データセンター、特にそれらが電力料金を引き上げる可能性である。 私の見解は、AI企業が自らの負担で料金の上昇を吸収すべきであるということであり、Anthropicはすでにそのように約束している——しかし、一般市民がデータセンターに対して抱く敵意は、AIに伴うより広範な経済的不安の象徴または発散の場であることが多いと私は考えている。 重要なのは、これらのより広範な経済的課題について直接的な社会的対話を行い、それらに真摯で説得力のある解決策を提示することである。 そうでなければ、それらはデータセンター問題と同様に、間接的に表出してしまうだろう。

3. AIの肯定的影響の加速

AI自体の革新と安全のバランスを図る必要があるように、AIが加速する可能性のある技術（バイオメディカル、エネルギー、材料科学など）に対しても同等のバランスを図る必要があります。しかし、AI自体はこれまでに経験したことがない非常に迅速に現れる新たな課題をもたらす可能性がありますが、AIによって加速される他の分野では、まったく異なる問題に直面する可能性があります。すなわち、比較的遅い革新ペースを前提に設計された規制システムが、AIもたらす新製品や新進展の洪水に備えていないという問題です。AIは、食品医薬品庁（FDA）などの規制機関が持つ疑念的な前提を、これらの下流技術をより安全で予測可能にすることで打破する可能性もあります。

したがって、AIの下流アプリケーション——AI自体とは逆に——私は、重要なリスクが解決されないことにより、規制当局が加速する変化のペースに対応できず、進展を遅らせることが心配です。AIの利点が遅れ、そのリスクがますます迫るという状況は最も避けたいので、この問題に対して早期に行動することが重要です。

この問題とその解決策は、科学、商業、技術のさまざまな分野で異なる形で現れるため、私は説明的な分野である生物医学のイノベーションに焦点を当てます。これは、AIが最も大きな人道的利益をもたらす可能性が高いからであり、また規制が特に複雑な分野だからです。AIがどのように生物医学のイノベーションを加速するかは明確ではありませんが、おそらく以下のように作用するでしょう：

• 候補新薬が規制プロセスに進む速度を大幅に向上させる；
• より良い最適化により、新薬の効果量を増加させ、安全性を改善し、その潜在的な生物学的特性をより深く理解できる可能性がある。
• 以前に成功した治療がなかった疾患の候補薬を開発する；
• 抗体、ペプチド、細胞療法が過去数十年で新しい治療分野となったように、迅速に新たな形態の療法を生み出してください。

一部の進展は、構造的な変更を伴わずに規制のタイムラインを自然に加速する。効果の大きな薬剤は、規模が小さくコストが低い臨床試験を可能にし、加速承認メカニズムを活性化する。しかし、現在の規制システムは、候補薬剤が通常無効であり、有効であってもしばしば重大な安全性の問題を伴うという前提に基づき、高度な審査と複数段階の試験を課すように設計されている。FDAや欧州医薬品庁（EMA）のいずれにおいても、候補薬剤が規制プロセスを通過する典型的な時間は7〜8年であり、その一部の理由はこれらの悲観的な仮定によるものである。改革が行われなければ、AIは単にこのシステムの混雑や過負荷を引き起こすだけである。

明らかに、蛇油（俚語，指騙人的假藥）や広範なセキュリティイベントを引き起こすような形で物事を変更したいとは思いません。しかし、いくつかの比較的単純な改革により、FDAやEMA、および類似の機関がAIによって駆動される迅速な科学の加速（もしそのようなことが起こった場合）に適応できるようになります。

以前には高価で時間がかかる実験を要していた多くの臨床プロセスのステップが、AIによるシミュレーションまたは分析によってすぐに実行可能になる。規制当局は、このような手法を受け入れるための条件を今すぐ定めるべきである。これは、これらの手法が有効である場合、不要なテストの延長を経ることなく迅速に採用されることを意味する。この適用が可能な分野には以下が含まれる：

• AIに基づく薬効学および薬物動力学（PD/PK）モデリング；
• 複数の動物種での毒性研究を回避するために、毒性学的予測を行う。
• 試験における高用量範囲の必要性を減らすため、より正確な用量選択。
• 大規模なデータセットの分析を通じたバイオマーカーの検証；
• 臨床試験における合成コントロールグループにより、より多くの参加者を募集する必要を減らす；
• 代替終点の開発（これは老化および神経変性疾患において特に重要である）。

これらの具体的な例に加えて、各機関はより積極的で柔軟な迅速承認メカニズムを検討すべきです。AIの予測が正しい場合、すぐに多くの突然（習語、意为出乎意料地、突然）かつ非常に効果的な対策が現れ、規制当局は過度に疑念を抱くのではなく、それらを真剣に受け止める準備をする必要があります。

生物医学の加速は、AIの利点を大幅に増大させるべきであるが、それがAIのリスクを低減するのにも役立つ可能性があることに注意すべきである。生物医学の承認制度の改革は生物防衛に貢献し、AIによる生物医学の進歩は精神的健康を改善する可能性があり、社会に安定効果をもたらすだろう。

4. 国家と市民の自由

あらゆる政府体制は、国家権力とその制限という問題に直面しなければならない。国家は、国民を内部的・外部的な脅威から守るという合法的で、しばしば生死を左右する利益を持つ。しかし、その権力を過剰に与えることは、専制政治への道である。現代の民主主義国家は、このバランスを很大程度で成功裏に管理してきたが、最良の時期であっても、このバランスは不安定である。このバランスを維持するには、数世紀にわたり構築されてきた多数の法律および憲法的メカニズム——たとえば、アメリカでは第一修正案、第四修正案、第五修正案、ポッシ・コミタタス法（Posse Comitatus Act）、外国情報監視法（FISA）など——が必要である。

AIはこのバランスを崩す脅威となり、同時にその賭けを大きく高めています。しかし、私たちは迅速に反応し、困難に立ち向かえば、AIを活用して、これまで以上に強力で持続可能な自由の保障を築き、脅威に備える世界を実現できます。

悪意ある者に手渡された強力なAIは、専制独裁の究極のツールとなり得る。しかし、私たちが現在持つ法律や憲法上の保護は、この脅威に十分に対応できるようには整備されていない。本質的に、世界の権力における知性の巨大な報酬と、AIの発展の急速な進歩が重なり、さまざまな危険な行為者が意図せずして権力を掌握するという完璧な嵐（習語で、複数の悪い状況が同時に発生して極めて悪い状況を生み出すこと）を引き起こしている。

このような危険は、さまざまな具体的な技術的または運用的な形態を取る可能性がありますが、共通点は、AIが突然巨大な権力を付与し、既存の民主的監督メカニズムを回避（routing around、スラング/転用で、障害や規制メカニズムを迂回することを意味する）することです。今日ではSFのように聞こえる完全自律型ドローン軍隊が、将来は違法な命令に従い、政府が一方的に権力を強化することを可能にするかもしれません。専門的に訓練された人間は、このような違法な指示に反対する可能性が高いです。監視に特化したAIは、広く入手可能な情報を大規模に分析し、それを使って各市民の生活における最も秘匿された詳細を推測することが可能です——これは現在の市民の自由に関する法律が想定していない技術的能力です。これらすべては極めて短時間で、あるいは秘密裏に発生する可能性があるため、民主主義国家が自由と市民の自由へのコミットメントを積極的に強化することが重要です。

以下是我们应该考虑的一些政策想法：

• 完全自動武器に対して信頼できる説明責任のルールを確立する。完全自動武器、特にそれらを調整または指揮するいかなる自律システムも、命令に盲従するのではなく、憲法および指揮責任メカニズム（たとえば裁判所の命令、立法、上位の人類監督者への説明責任）に従うことが求められるべきである。これは、適切に設計された法的審査チームまたは司法機関が「オフスイッチ」の制御権を有することを意味する可能性があり、またはシステム自体が内在的な訓練を通じて合法的な監督機関を認識し反応することを意味する可能性があり、あるいはその両方である。
• 国内での自動武器の使用を禁止する。完全自動武器は、外国の敵（たとえばロシアのウクライナ侵攻）に対する防衛という合法的な必要性があるが、米国人に対して使用する理由は一切存在しない。軍隊の国内における行動能力はすでにいくつかの制限を受けているが、理想的には、これらの武器を法執行機関でも使用禁止とすべきである。
• 一括収集／データ仲介業者の脆弱性を埋めよ。現行法によれば、米国人がインターネットプロバイダーなどの民間企業と共有したデータは購入され、国内の監視や法執行における一括分析に使用される可能性がある。このプライバシー保護上の脆弱性はAIの登場以前から存在していたが、AIは、このようなデータの大量分析を過去よりもはるかに洞察力があり、実用的にすることで、その利害関係を大幅に高める。この脆弱性は埋められるべきである。
• 不利な政府行動に対してAIの助言を受ける公共の権利を有する。普遍的な原則として、規制や法的措置などの不利な政府行動の対象となる個人または組織は、政府がその特定の行動において使用されることを許可されているAIと同等以上の強力なAIを利用できる機会を必ず持つべきである。これは、市民の合法的な権利を実質的に損なう可能性のある、政府への不公平な優位性を防ぐことを意味する。これは、行政手続法、正当な手続の保護、または第六修正案における法的代理を受ける権利の拡張または解釈として追加することができる。

最後に、AIによる権力掌握の観点から、政府が私たちが警戒すべき唯一の主体ではないことに注意すべきです。歴史の異なる時期（たとえばアメリカのゴールデンエイジやイギリスの東インド会社）において、企業は十分に強大になり、国家を掌握したり準国家的な特徴を備えたりしました。AIはまもなくあまりにも強大になるため、それが政府や企業に完全に委ねられることの安全性を懸念しており、両者に対してチェックアンドバランスの仕組みが必要不可欠です。

規制は、企業を制約する（rein in、習語で、制御・制限を意味する）ための一つの答えである（私の考えについては第1節を参照）が、AI企業が一般的な民間組織よりもさらに多くの権力分散と説明責任を備えることも同様に重要である。Anthropicの長期的利益信託基金（企業の使命を促進するための独立したガバナンス機関）はそのような構造の一例であり、業界はさらに進んだメカニズムを引き続き探求すべきである。企業と政府のそれぞれの権力を意味のある形で制約するという適切なバランスを実現することが極めて重要である。

5. 民主国家のリーダーシップを確保する

新技術を地政学的に貿易政策の道具と見なし、「世界中に私たちの技術スタックを拡散する」ことを目指すことは、最近のインターネットおよび電信業界の経験から発展した普遍的な本能となっている。しかし、私は非常に明確に、AIはより深遠な何かであり、全体の盤面を再設定し、将来のすべての地政学的戦略がそれを中心に構築されなければならないと信じている——核兵器のように、しかし潜在的にはさらに大きな影響を及ぼす可能性がある。

AIが本当に「データセンター内の天才国家」、またはそれに近い何かになるとすれば、AIはあらゆる国の軍事的・経済的力の主要な源泉となる可能性が高い。1億人の天才がいる仮想国家では、1000万人を軍事戦略に、1000万人をドローン製造に、1000万人を武器開発に、1000万人を情報収集と分析に、1000万人を一般科学の進歩に、などと割り当てることができる。強力なAIを有する国は、AIを持たない国、あるいはAIで3年遅れている国と比較した場合、その差は第二次世界大戦中の海兵隊と中世の剣士軍隊との差に等しくなる可能性がある。

また、強力なAIがより深く、おそらく永続的な形での専制的抑圧を実現する可能性がある（第4節参照）場合、世界で最も強力な国が民主国家であることを確保することが極めて重要になる——あるいは、AIによる抑圧に対する強力な保護措置が存在することを確保することが重要になる。これは、ターゲットを絞った地政学的戦略を策定する緊急性をさらに高める。

民主国家は、共通の価値観に基づいてAIを構築することを核とするグローバルな同盟を築くべきであり、段階的に世界の他の地域を巻き込み、同盟への参加を徐々に魅力的にし、同盟から除外されることの魅力を小さくすべきである。この同盟は、第1〜4節で議論されたAI政策の思想を一貫して国際化したものであり、さらに、同盟内での共有と外部への非提供を通じて、AI構築に不可欠なサプライチェーンを確保する取り組みを加えるべきである。一部の原則と運用目標には以下が含まれる可能性がある：

AIサプライチェーンを管理する。信頼できる同盟メンバーは、チップと半導体製造装置（SME）を自由に共有し、同時に競合他社がそれらを入手することを協力して阻止すべきである。米国が先端チップおよびSMEを中国に輸出するのを制限していることは、米国がAI分野で全体的にリードを保つ主な理由の一つであり、これらの政策は他の志を同じくする国々と拡大・強化・調整される必要がある。MATCHやOVERWATCHなどの未決の立法は良い出発点であり、同盟諸国は類似の措置を検討すべきである。

• AIのリスクに対応するための国際的調整。国際的に調整が行われれば、第1節で説明された生物、サイバーセキュリティ、自律性のリスクに対処するための政策はより効果的になり（同時に業界への負担も軽減される）。これにより、企業は互換性のある標準に準拠でき、規制当局はこれらのリスクを測定し軽減する最良の方法を互いに学ぶことができる。また、執行機関と情報機関も、テロリストがAIを用いて生物兵器を製造しようとするような悪用の脅威を追跡・阻止するために、より緊密に協力すべきである。
• AIの利益を共有する。貿易および規制政策は、AI経済の利益を連合内により迅速に拡散し、イノベーションを加速するための教訓を共有するのに活用できる。有益な導入方法を調整することで、AIの恩恵を発展途上国にもたらすことができる。たとえば、医薬品承認制度の統一により、AIを活用した薬物の試験および承認がより迅速かつ効果的に行えるようになる（前述の第3節参照）。
• 共同防衛。同盟国は、AIを用いた自衛および敵のAIに対する防衛のために協力すべきである。同盟は、AI主導のネットワーク防衛、AI駆動型ドローン、AI駆動型製造、機密のAI計算能力、AI駆動型研究開発、およびAI駆動型情報収集の十分な生産を共同で確保すべきである。
• AIによって支援される抑圧を拒否せよ。連合メンバーは、『技術の青春期』で警告した、AIによって支援される高度な技術と極端な専制政権を拒否し、上記第4節で説明したような安全保障を備える必要がある。
• マクロ経済協力。雇用または職業の安定性の危機は、他のあらゆる経済危機と同様に、国境を越えて伝染する性質を持つ。したがって、各国は、第2節で説明されたようなマクロ経済支援および安定政策を協調することで、雇用への影響を相殺する共通の利害を有している。

目標は、同盟の加盟を可能な限り魅力的にし、同盟に属さない代償を明確にすることである。この同盟は、各国家が自国の内政を完全に統制するという前提で、主権国家間の調整に基づく。初期段階では、イデオロギー的に一致する民主主義国（自然に加盟しやすい）から始め、徐々に、その大きな加盟利益を享受するために同盟の基準を満たす用意のある、やや自然ではない国々を歓迎していく。理想的には、最終的には世界全体が加盟することを目指す。しかし、たとえそれが実現できなくても、この同盟を設立することで、民主主義国は抑圧的な政権に執着する勢力を抑制し、上回る最も強力な立場に置かれるだろう。

機会の窓

AIの指数的な進歩は、政策立案プロセスが通常対応できないほどの切実さと変革の速さをもたらしている。しかし、それはまた独特な機会の窓を生み出している。AIリスクに関する明確で現実的な証拠、経済的価値の創造と破壊におけるその可能性に対する初期の体験、そして無制限なAI処理に対する公衆の強い反発が交差し、政策立案者が前向きな行動に対して異常に開かれた状況を生み出している。ツリーべardとその森が目覚めつつある。

AI業界において、これは公共関係の問題だと見なすことが流行している：つまり、AIは「より良いマーケティング」を必要としているということだ。私はこの枠組みを完全に拒否する。人々がAIに対して懸念を抱いているのは、AIのリスクが現実のものであることを正しく察知しているからであり、AIのCEOたちが「パンゴールス的（文学的典拠／形容詞、無条件の楽観主義を指す）」に振る舞っていないからではない。私は、AIのリーダーとして、これらのリスクに対して透明性を維持し続けることが自分の責任であると考えている。そして、一般市民がこの透明性に対して抱く懸念は、民主的責任が本来あるべき形で機能していることを示している。重要な課題は、この懸念を建設的な解決策に集中させ、それが無形の怒りや暴力に陥らないようにすることである。

私は解決策を見つけることに楽観的です。なぜなら、失業問題の解決からモデルのリリース前のテスト、チップ輸出規制からエネルギー消費、その他のAI関連政策問題に至るまで、多くの課題は政治的スペクトラム全体で共通の常識的な魅力を持っているからです。AIがもたらす課題を直接的に認識した広範な超党派の連合が、通常よりもはるかに迅速に理性的で前向きな政策を採用する、望ましくかつ現実的な未来が存在します。私たちはこれに早く取り組めば取り組むほど、AIの信じられないほどの恩恵を早く共有できるでしょう。

Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson、およびAnthropicの多くの従業員に、本稿の草案に対するご意見とフィードバックをお礼申し上げます。

脚注

私の記事『技術の青春期』（The Adolescence of Technology）では、生物リスクや自律性リスク、その他の内容について論じました。Anthropic研究所は『AIが自らを構築するとき』（When AI Builds Itself）で、モデルが自らより優れたモデルを構築できるという再帰的自己改善の可能性に関する初期の内部データを公開しました。

この現象は理論上のものではありません。私たちは、自らの自主的ガバナンスフレームワーク（例：責任あるスケーリング方針/Responsible Scaling Policy）の中で、これを何度も観察してきました。もし将来のAIモデルに固定的で画一的なセキュリティ要件のリストを設定すると、実際には重要でない要件が私たちの95％のコンプライアンス努力を消費し、一方で、最も大きなリスク源のいくつかが私たちのリストに全く予期されないままになる可能性が非常に高いです。自主的フレームワークは変更・調整が可能ですが、立法ではこれほど容易ではありません。私はこのジレンマに対処するために、2024年にカリフォルニア州で災害リスクに対処しようとしたSB 1047という法律に関して、公開した2通の手紙でその取り組みを示しています。上記の理由から、この法律に対する私の感情は複雑です。

たとえば、本質的に深刻な生物学的リスクは、攻撃者が防御者に対して大きな優位性を持ち、災害の深刻さがはるかに大きいことから、ネットワークリスクよりも管理が難しい可能性があります。

より詳細な分析については、『技術の青春期』を参照してください。他の技術において労働市場が迅速に回復し、持続的な労働力置換が発生しなかった理由は、AIには適用されない可能性があります。特に、ジェブンズのパラドックスや比較優位といった一般的な適応メカニズムが、技術の進行速度に圧倒される可能性がある理由について説明しています。

たとえば、人々は依然としてチェスや囲碁を指したり、高山を登ったりするために一生を捧げ、機械がこれらのすべての分野でより優れているにもかかわらず、これらの活動によって高い評価を受けています。

これは、たとえ短期的には苦痛を伴い、給与が低下した場合でも、新旧給与の差額を補填することで、人々が転職し、新しいキャリアステップのトレーニングを受けるための追加のインセンティブを与えることになります。

このテーマの詳細については、『技術の青春期』をご覧ください。（本記事は钛媒体APPに初出、著者 | サンフランシスコTech_news、編集 | 林深）