Anthropic、AIが社会と経済に与える影響を研究するためAnthropic Instituteを設立

昨夜、AIの新鋭Anthropic（以下、A社と略称）はClaudeの新モデルを発表せず、むしろ非常に「退屈」に見えるものを発表した：The Anthropic Institute（Anthropic研究院、以下TAIと略称）。

2026年に流行するHarness Engineering（ハーネス・エンジニアリング）と比較して、TAIが解決しようとしている課題はより宏大である。Anthropicが公表した研究アジェンダ（anthropic-institute-agenda）によると、TAIは主に4つの分野に焦点を当てている：経済の拡散、脅威とレジリエンス、実用におけるAIシステム、およびAI駆動の研究開発。TAIはまた、グローバルに「英雄帖」を発表し、上記の課題を解決するために研究者たちと共に働くことを募集している。

（画像提供：X@Anthropic 公式）

つまり、A社（Anthropicの略称）は、人間がAIとどのように向き合うかを主に研究する内部組織を設立した。

• AIは雇用と経済にどのように影響を与えるでしょうか？
• どのような新しいセキュリティリスクをもたらしますか？
• 人類がAIを実際に使用した後、行動や判断は変わるだろうか？
• AIがより強力なAIの開発を支援し始めたとき、この加速プロセスはどのように理解され、制約されるべきか？

多くの読者は、これが単なるAI企業の通常の動きだと感じるかもしれないが、雷科技は、これがA社にとって最近最も注目すべき行動であると考えている。TAIがAI産業および人類に与える肯定的な影響は、かつてグーグルがインターネット産業に「悪をなすな」という価値信条を掲げたことと同様である。そのため、雷科技AGIは、これは大規模モデルのアップグレードに匹敵する「リリース」であると述べている。

TAIの主要な研究分野はEconomic Diffusion（経済拡散）です。

人類歴史における前三回の産業革命を振り返ると、ジェニーミシンや轟音を立てる蒸気機関、そしてその後の電力や生産ラインは、本質的に非常に安価で繰り返しの肉体労働を代替してきた。しかし、AIが引き起こす第四次産業革命は異なり、それは人間が最も誇りとする知的労働の領域に直接進出している。

そしてTAIが指摘した核心的な矛盾とは、ツールが進化したにもかかわらず、労働者の状況は逆に悪化しているということである。

研究文案では、TAIが次のように述べています。もし今後3人が大規模モデルを活用して、かつて300人が行っていた仕事をこなせるようになった場合、その会社はどのように変化するでしょうか？

デザイナーはAIを使って、最も面倒なレイヤーや素材をワンクリックで処理でき、プログラマーはAIを使ってVibe Codingができる……AIが作業効率を75%向上させるとしても、これは人間の労働時間を8時間（あるいは996）から2時間に短縮することにはならない。逆に、人間は5倍の仕事をこなす必要があるかもしれない。

TAIが注目しているのは、「AIが登場すれば、あなたの仕事量が数倍になる」という新たなロジックである。この状況を定量的に示すために、TAIは「The Anthropic Economic Index（Anthropic経済指数）」という新しい用語を導入した。A社は、誰も注目しない学術論文を発表するだけではなく、この実際のデータを公開し、明確に人類に伝えるつもりである：AIはどの業界で、どのようにして人間の職務を静かに置き換えているのか？新米の若手は、デビューと同時に「淘汰」されてしまうのか？

（画像提供：AI生成）

さらに、TAIはこの問題を現実世界にも持ち込んだ。私たちは皆、大規模モデルが決して満たされることのない「金を喰う獣」であることを知っている。AIを使ってテキスト、画像、動画を生成するたび、あるいは単純な質問をするたびに、大量のトークンが消費される。トークンの基盤は計算能力であり、計算能力の基盤はチップ、ストレージ、電力である。さらに深く掘り下げれば、炭素排出量や資本なども含まれる。資源は常に限られている。社会が膨大な資源をAIに集中させると、他の産業にも必ず影響が及ぶ。

2026年、人々が最も強く感じたのは、AIによるメモリとストレージの不足が、消費電子製品の価格上昇を直接引き起こし、スマートフォンメーカーですら新機種の投入意欲を低下させたことだ。しかし同時に、すべてのスマートフォンメーカーはAIを活用して製品のロジックを再構築し、スマートフォンの製品ライフサイクルを延長することに期待を寄せている。OpenAIのネイティブAIスマートフォンも既に計画に上がっている。誰もがAIの恩恵を受ける一方で、多くの産業がAIによって深く影響を受けている。良い面も、悪い面も。

また、TAIは「経済指標」を使用して、AIが経済に与える影響を抽象的な感覚からデータモデルに定量化する。問題を明確に理解した上で、初めて解決の可能性が生まれる。

失業が鈍刀で肉を削るようなものだとすれば、AIが人間の思考プロセスに与える影響は直接的な傷害である。

最初に被害を受けるのはインターネット无疑だ。現在のインターネットは「屎山」と化していることが容易にわかる。かつては旅行の攻略情報を検索すれば、多くの失敗回避ガイドが簡単に見つかったが、今はAIが作成した、見た目は美しく整えられているが、すべて真面目に作り上げられた無意味な废话ばかりだ。

さらに深刻なのは、AIが灰色産業の参入障壁をゼロにまで下げたことだ。AIを使って顔を置き換えてデマを広めたり、家族の声をコピーして電話詐欺を働いたりする犯罪者は、わずかにいくつかのTokenを消費するだけで、一般市民の人生を破壊できる。

TAIは、AIが気づかないうちに人間をますます「馬鹿」にしているというより深い危機にも注目した。

以前、中国のユーザーが野外で見たことのない野生キノコを見つけ、写真を撮ってAIに「これは食べられますか？」と尋ねたところ、AIは劇毒のキノコを「美味な食用コウタケ」と誤って識別した。また、ある子供がネズミ捕りを手に持ち、AIに「これは何ですか？」と尋ねたところ、AIは真面目に「四角く、金属製の構造を持つ廃棄されたカートレースのおもちゃ」と分析した。その結果、子供が興味本位で触ったところ、指が強く挟まれてしまった。

これらのニュースは地獄のジョークのように聞こえるが、それはある現象を明らかにしている：AIの最大の特徴は賢さではなく、「奇妙な自信」である。AIは100％正確であることは決してできず、Google Geminiの最新モデルで91％の事実正確性を達成することがすでに高水平である。しかし、多くのユーザーはAIを使用する過程で無意識のうちに思考を放棄し、すべての決定をコードの列に「外部委託」する習慣がついてしまっている。

これに対して、TAIは深く考えさせられる質問を投げかけた：社会の非常に多くの人々が、たった二つか三つの大規模モデルにしかアドバイスを求めない場合、人間の集団の思考パターンや問題解決方法は、どのような恐ろしい「同質化」を起こすだろうか？あなたはAIツールを使って生産性と認知レベルを向上させていると信じているが、実際には「脳を外部委託」しているのだ。言い換えれば、すべての人がAIに依存し始めると、人間は自発的な思考能力を失い、全人類の脳が同じ型から刻み出された複製品になってしまう可能性がある。

TAIは「二重利用能力（Dual-use capabilities）」という新しい概念を提唱しました。公式な説明によると、AIモデルの生物学的機能が強化されれば、新薬の開発に利用できるだけでなく、極めて致命的な生物兵器の開発にも使用できるようになります。また、AIがコード作成の能力に優れていれば、優れたプログラマーであるだけでなく、国家の内部ネットワークに簡単に侵入できるハッカーにもなるのです。

（画像提供：Anthropic 公式）

このような「二重用途」を持つモンスターが、自動運転車の脳に、工場の重機アームに、さらにはセキュリティシステムやドローン群に大規模に接続された場合、どれほどの混乱を引き起こすだろうか？携帯電話ではAIが「ごめんなさい、間違えました」と言うが、現実世界では、認識のずれが1秒でも、実際に安全生産事故につながる。

さらに、大規模モデルは数週間で1回の更新を繰り返す一方で、人間が法律を改正したり、保険制度を整備したりするのは「年」単位で行われる。この間に生じる空白が、防御力が最も低い「裸奔期」である。AIが引き起こすさまざまな災害が発生した際、現在の社会にはそれを支える「レジリエンス」が全く備わっていない。

この問題を解決するために、TAIはFrontier Red Team（フロンティアレッドチーム）を設立した。彼らの任務はシンプルかつ抽象的だ：自ら開発したAIエージェントを毎日さまざまな方法で攻撃し、誘い出すことで、これが現実世界でどれほどの破壊力を発揮するかを把握し、社会という古びたシステムが完全に崩壊する前に、強制的に防衛線を築くことにある。

かつてはAIの進化速度を人間のプログラマーが主導していたが、現在では高度な大規模モデルが自ら論文を読み、コードを書くことができるようになり、近い将来には自ら次世代の大規模モデルを開発する可能性がある。AIが自己複製する速度がますます速まれば、技術の進化はまもなく人間の認識を追い越すだろう。

（画像提供：AI生成）

このいつ訪れるかわからない特異点に備えて、TAIは、知能爆発に対するFire drill scenarios（消防演習）という新しい概念を提案しました。

簡単に言えば、TAIはトップレベルの研究機関の経営陣と各国政府を招いて、知的爆発が実際に起こる前に、人間がブレーキをかける能力を事前にテストするシミュレーションを行います。

この業界全体が目を閉じて突き進んでいるこのタイミングで、AnthropicがTAIを設立したこの動きを振り返ると、確かに「敬意を抱かせる」ものです。

隣のOpenAIでは、毎日のように経営陣の退任や内紛、あるいはマスクとの泥沼の裁判がニュースになっている。また、多くのAI企業は業績が低迷しているにもかかわらず、ランキングを操作しようとしていたり、あちこちで資金調達を繰り返し、虚偽の評価で社会的資本を吸い上げている。A社が取り上げる話題は業界で常に議論されてきたが、大半のAI大手は「とにかく先に成長させよう」と無視している。このような極めて浮躁な雰囲気の中、A社はブレーキをかけ、こうした見せられない問題を堂々と表に出し、AIに対する新たな姿勢を示した——成長とガバナンスを両立させる。

A社は慈善団体ではなく、無駄に優しいわけではなく、非常に優れたビジネス戦略を展開している。現在、大きな権力を持つ資金提供者や政府は、AIが引き起こしたさまざまな失敗に恐れをなしている。モデルを購入しても、スコアが少し高かろうが低かろうが問題ではない。最も恐れているのは、そのAIが突然暴走して大規模な災害を引き起こし、その後の対応が不可能になることだ。A社はTAIを使って「普通の人」のイメージを構築し、ユーザーに安心感を与え、世界の信頼を得ている。

（画像提供：AI生成）

TAIのこの記事の最後で、TAIのすべての研究成果と早期警告が、Anthropicの核心機関であるLong-Term Benefit Trust（長期利益信托）に直接提供されると明言されています。LTBTの使命は、会社の商業的意思決定を厳しく監視し、Anthropicのあらゆる行動が短期的な財務利益ではなく、人類全体の長期的な利益のために行われることを確実にすることです。

これはかつてグーグルが掲げた有名な「悪をなすな」という言葉とまったく同じだ：TAIを通じて、A社は、競合他社がどれだけスピードを競っているかに関わらず、我々はただ速く走るだけでなく、どのようにブレーキをかけるかを研究していることを世界に伝えている。

大手企業が自らを監督することを期待するのは、正直なところ馬鹿げている。しかし、今この時代、誰もが目を閉じてアクセルを溶接して突き進んでいる中で、トッププレイヤーが自らTAIという研究所を設立し、真の資金を投じて経済指標を研究し、知的爆発をシミュレーションし、人間の脳の退化を探究していることは、それ自体が注目に値する。そのため、雷科技は冒頭で、TAIの発表はA社が新しいモデルを直接発表するよりも重要であると述べている。

Anthropic研究所（TAI）では、最先端のラボで得られる情報を活用し、人工知能が世界に与える影響を研究し、その研究成果を一般に共有します。ここでは、私たちの研究アジェンダを駆動する問いを共有します。

私たちの研究アジェンダは、主に以下の4つの分野に集中しています：

• 経済の拡散
• 脅威とレジリエンス
• 実際のアプリケーションにおけるAIシステム
• AI駆動の研究開発

『人工知能のセキュリティに関する核心的見解』という記事では、効果的なセキュリティ研究には最先端の人工知能システムとの密接な関与が必要であると指摘しました。同様の原則が、人工知能がセキュリティ、経済、社会に与える影響に関する効果的な研究にも適用されます。

Anthropic では、ソフトウェアエンジニアリングなどの分野で根本的な変化がすでに見られています。私たちは、Anthropic 内部の経済構造が変化し始め、私たちが構築するシステムが新たな脅威に直面しているのを目の当たりにしています。人工知能の初期の兆候が、人工知能自身の開発プロセスを加速させています。人工知能の進歩の恩恵を最大限に活用するため、私たちはこれらの情報をできるだけ多く共有したいと考えています。私たちは、これらの動的変化が外部世界にどのような影響を与えるか、そして一般市民がこれらの変化を導くためにどのように貢献できるかを研究しています。

TAIでは、最先端の研究室の視点から、人工知能が現実世界に与える影響を調査し、その研究成果を公表して、外部の組織、政府、一般市民が人工知能の発展に関する意思決定をより良く行えるように支援します。

個人の研究者および機関がこれらの研究課題をより簡単に実施できるよう、研究成果、データ、およびツールを共有します。具体的には、以下を共有します：

• 私たちは、より高い頻度で人間の経済指標から詳細な情報を収集し、人工知能が労働市場に与える影響とその応用状況を把握します。私たちは、大きな変革や破壊の早期警告シグナルとなるよう努めます。
• 人工知能がもたらす新たなセキュリティリスクに直面した際、どの社会分野がレジリエンスを高めるために最も投資を必要とするか。
• Anthropicが新しいAIツールをどのように活用して作業効率を向上させているかをより詳細に説明し、AIシステムの潜在的な再帰的自己改善の意味について考察する。

TAIはAnthropicの意思決定に影響を与える。これは、同社が本来共有しなかったデータ（例：経済指標）を外部と共有したり、技術の公開方法を変更したり（例：「ガラスの翼」プロジェクトなどの計画を支援するネットワーク脅威分析）という形で現れる可能性がある。

TAI研究所が実施する研究は、Anthropic長期利益信託基金（LTBT）にとって重要な参考となるようになると予想しています。LTBTの使命は、Anthropicが人類の長期的な利益に貢献するようその行動を継続的に最適化することです。本研究計画は、LTBTおよびAnthropicの各部署の従業員と協力して策定しました。

これは固定されたアジェンダではなく、動的なものです。証拠が蓄積されるにつれて、これらの課題を継続的に改善し、今日カバーされていない新たな課題が生じる可能性があります。皆様からこのアジェンダに関するフィードバックをお待ちしており、議論を通じて得られた情報に基づいて修正いたします。

これらの質問に協力していただきたい場合、Anthropic研究員としてご応募ください。この研究員プログラムは4か月間で、TAIチームのメンバーが指導し、1つまたは複数の関連する課題を研究する機会をご提供します。詳細情報および次期プログラムへの応募はこちらからご覧いただけます。

私たちの研究アジェンダ：

最終更新日：2026年5月7日

経済の拡散

日益強大な人工知能システムの導入が経済に与える影響を理解することは重要です。また、一般市民に利益をもたらす人工知能の導入方法を選択するために、必要な経済データと予測能力を構築することも不可欠です。

本研究の柱として提起された問題に答えるために、私たちは「人類経済指数」のデータをさらに洗練します。また、強力な人工知能が雇用の喪失、前例のない経済成長、またはその他の側面にどのような影響を与えるかについてのモデルを改善するための他の手法も探求します。

人工知能の応用と拡散

• 誰が人工知能を採用しているのか？人工知能の開発は、わずか数カ国のわずか数社に集中しているが、その導入はグローバルである。国、地域、都市が人工知能を獲得できるかどうかを決定するのは何なのか？人工知能を獲得できた場合、それらはどのようにして経済的価値を引き出すのか？どのような政策やビジネスモデルがこの現状を効果的に変えることができるのか？フリーウェイトまたはオープンウェイトモデルは、このダイナミクスをどのように促進するのか？
• 企業レベルでの人工知能の応用：企業が人工知能を採用する理由は何か？その結果は何か？人工知能は、企業やチームが最大効率に達する規模をどのように変えるか？人工知能の企業間における応用の集中度はどのようになっているか？人工知能応用の集中度の変化は、利益率と労働シェアにどのように反映されるか？3人チームや企業がかつて300人必要だった作業をこなせるようになった場合、産業構造はどのように変化するか？あるいは、企業が知識をより容易に集中させることができ、それが規模の経済をもたらす場合、より大規模で拡大した企業が現れ、従業員を体系的に監視する動機が高まるだろうか？
• 人工知能は汎用技術ですか？人工知能は、利益の高い商業アプリケーションでは最も速く普及し、社会的リターンが私的リターンを上回る分野では最も遅く普及するという、従来の「汎用技術」のパターンに従っているのでしょうか？この傾向を変えることができる政策や意思決定は存在するのでしょうか？

生産性と経済成長

• 生産性の向上：人工知能は、経済全体のイノベーション速度と生産性の向上にどのような影響を与えるでしょうか？
• 収益の共有：人工知能の開発と導入から生じる収益をより広く拡散するために、どのような事前配分または再配分メカニズムが効果的ですか？
• 市場取引コスト：人工知能は市場における取引システムと取引コストにどのように影響を与えるか？代理人に交渉を委任することで、市場の効率性と公平な結果を高められるのはいつか？逆に、そうでないのはいつか？

広範な労働市場への影響

• 人工知能と雇用：人工知能は、経済の各分野における雇用状況をどのように変えるだろうか？人工知能による既存の経済プロセスの自動化に伴い、どのような新しいタスクや職業が生み出される可能性があるか？これらの変化は、地域や国によってどのように異なるだろうか？「ヒューマンエコノミーインデックス調査」では、毎月、人々が人工知能を自分の仕事にどのように捉え、将来に対してどのような期待を持っているかに関する情報を提供します。また、より高頻度で詳細なデータを共有するために、経済指数を更新します。
• 人工知能の普及速度は調整可能か？各国中央銀行は政策金利や前向きな指針などの「調整手段」を用いてインフレを抑制している。人工知能企業（業界レベルで政府と協力して）も、同様の調整手段を採用し、業界ごとに人工知能の普及速度を制御することが可能か？それは明確な公共の利益をもたらすだろうか？

仕事と職場の未来

• 労働者による仕事への見方：さまざまな業界の労働者は職業の変化をどのように捉えているか？彼らはこれらの変化にどの程度の影響を与えることができるか？「労働者」の力は維持され、あるいは変容することができるか？
• 専門人材育成体制：多くの業界では、将来的な上級従業員を育成するために、ジュニアポジション（例：法律アシスタント、ジュニアアナリスト、アシスタント開発者）に依存している。もし人工知能がこれまで専門知識を蓄積してきた仕事を置き換えた場合、人々はどのようにして最初に専門家となるべきなのか？これは、特定の分野における長期的な上級人材の確保にどのような影響を及ぼすのか？
• 未来への学習：未来に備えるために、今日人々はどのようなことを学ぶべきでしょうか？未来の職業にはどのようなものがありますか？人工知能は、学習や専門スキルの習得の方法をどのように変えるでしょうか？
• 有償労働の役割：人工知能が有償労働を人類の生活における中心的要素として大幅に低下させた場合、人々が時間とエネルギーを他の意味のある源に再配分できるのはどのような条件の下か？歴史的または現代の労働が希少または不要な集団から私たちは何を学べるか？社会はこの変化にどのように対応すべきか？

脅威とレジリエンス

人工知能システムは、両用能力を含む複数の能力を同時に向上させることがよくあります。たとえば、生物学的能力が向上した人工知能システムは、生物兵器の開発も容易になります。コンピュータプログラミングの能力が高い人工知能システムは、コンピュータシステムへの侵入も容易になります。人工知能システムが引き起こす可能性のある脅威をより深く理解できれば、社会はこのような変化する脅威の状況に対応しやすくなります。

これらの質問を提起する目的は、変革的なAIへの対応力を高め、新たな脅威に対する警告システムを構築するためのパートナーシップを築くことです。これらの多くは、私たちの最先端のレッドチーム研究アジェンダを導きます。

リスクと二重用途能力の評価：

• 二重利用技術：強力な人工知能は本質的に二重利用性を有しており、医療や教育のツールとして改善する一方で、監視や弾圧にも使用される可能性があります。このような状況が実際に発生しているかどうか、またどのように発生しているかを把握するための可観測性ツールを構築できるでしょうか？
• リスクを適切に価格付けするには：社会が人工知能システムの予想される脅威に対してレジリエンスを高めるための、効果的で市場駆動的な方法にはどのようなものがあるか？私たちは、予測可能な脅威（たとえば、人工知能によるネットワーク攻撃能力の向上）が発生する前にレジリエンスを高めるための新しいリスク価格付け手法や、技術的ツールおよび人間の組織を開発できるだろうか？
• 攻防のバランス：人工知能が付与する能力は、サイバースペースや生物安全保障などの分野で攻撃者に本質的な利点をもたらすのか？人工知能が指揮統制システムとの統合など、より伝統的な分野に適用される場合、攻撃者にも有利になるのか？より広く言えば、人工知能は人間の衝突の性質をどのように変えるのか？

リスク緩和対策を策定する：

• 危機対応計画：冷戦時代、米国大統領は核危機発生時に使用するためにクレムリンへの直通ホットラインを設けていた。では、人工知能システムが危機を引き起こした場合、どのような地政学的インフラが必要だろうか？このインフラは国家間である必要はなく、企業間や企業内である可能性もある。
• より迅速な防御メカニズム：AIの能力は数ヶ月のうちに大幅に進化する一方で、規制、保険、インフラの対応には数年かかる。このギャップをどう埋めるべきか？自動パッチ、AIによる脅威検出、または事前配置された対応能力といった防御メカニズムは、AI攻撃の速度と規模に追いつけるのか？それとも、この非対称性は構造的なものなのか？これらの防御メカニズムをいかに効果的に展開すべきか？

監視用の情報能力

• 人工知能が監視に与える影響：人工知能は監視の運用方法をどのように変えるのか？監視コストを削減するのか、監視効率を向上させるのか、それとも両方なのか？

実際のアプリケーションにおけるAIシステム

人と組織、そして人工知能システムとの相互作用は、社会的変革の重要な源泉となるでしょう。人工知能システムがその相互作用を行う個人や機関にどのような影響を与える可能性があるかを理解することは、私たちの社会影響チームの核心的な研究分野です。これらの変化を研究するために、私たちは既存のツールを改善し、プラットフォームの可観測性を高めるソフトウェアから大規模な定性調査を実施するためのツールまで、幅広い分野で新しいツールを開発しています。

人工知能が個人および社会に与える影響：

• 群衆認識論：大規模な人口が同じ少数のモデルを参照するとき、私たちの認識論はどのように変化するのか？人工知能の共通利用によって引き起こされる信念、文章スタイル、問題解決手法の大規模な変化を測定する方法を見つけることができるだろうか？
• 批判的思考：人工知能システムがますます強力で信頼できるようになる中、人工知能の判断への依存が高まることによる人間の批判的思考能力の低下をどのように検出し、回避すべきでしょうか？
• 技術のインターフェースは、人々が技術とどのように相互作用するかを決定する——テレビは人々を受動的な観客にし、コンピュータは人々が創造的な生産者になることをより容易にする。どのようなインターフェースを構築すれば、AIシステムが人間の自律性を向上させ、促進できるだろうか？
• 人機協働システムの管理：人間は、人間と人工知能システムで構成されるチームをどのように効果的に管理するか？逆に、人工知能システムは、人間、人工知能、またはその両方で構成されるチームをどのように管理するか？

人工知能がもたらす大きな影響を識別する：

• 行動への影響：ソーシャルメディアが人々の行動を変えるように、人工知能も人間の行動を形作る可能性があります。このような動的変化を研究者が理解するためには、どのような監視または測定手法が役立ちますか？
• 促進研究：広く一般の人々（最先端のAI企業に限らず）が、現実世界におけるAIアプリケーションを簡単に研究できるような透明なメカニズムやツールは存在するか？

AIモデルの理解と管理：

• システムの「価値観」とは何か？これらの価値観は、システムの訓練方法とどのように関連しているか？より具体的には、人工知能の「構成」がその導入後の行動に与える影響を、どのように測定できるか？我々は、これらの問いに対する以前の研究を拡張する。
• 自律エージェントのガバナンス：既存の法律、ガバナンス体制、説明責任メカニズムのどの側面が自律型AIエージェントに適用できるか？たとえば、海事法における放棄船の取り扱いは、監督のないエージェントに対する法律の適用と関連性を持つ。逆に、既存の法律の中には、AIエージェントに実際に適用されているが、適用すべきでない側面は存在するか？
• エージェントの信頼性：既存の法律、ガバナンス体制、説明責任メカニズムに適応させるために、自律型AIエージェントのどの側面を調整できるか？たとえば、直接的な人間の制御がなくても、AIエージェントに一意で信頼できる識別情報を保証することは可能か？
• 人工知能が人工知能を管理する：人工知能システムを効果的に管理するために、どのように人工知能を活用できるか？人工知能の規制において、人間が比較的優位な分野や、法的・規範的要件により「関与しなければならない」分野はどこか？
• エージェント間の相互作用：AIエージェント同士が相互作用する際に、どのような規範が生じるか？異なるエージェントはどのように異なる好みを表現し、それらの好みは他のエージェントにどのように影響を与えるか？

AI駆動の研究開発

人工知能システムの機能がますます強化されるにつれて、科学者たちはそれらを用いてますます多くの研究を実施しています。これは、科学研究の多くが、より少ない人間の介入で自律的または半自律的に実行されることを意味しています。人工知能研究分野では、機能が強化されたシステムが自らの次世代バージョンの開発に使用される可能性があります。このようなモデルを私たちは「人工知能駆動型人工知能研究」と呼ぶことがあります。

人工知能による人工知能の開発は、より知的で強力なシステムを構築する「自然な利点」である可能性がある。コーディング能力の進歩が軍民両用のネットワーク能力を生み出したように、科学能力の進歩が軍民両用のバイオ能力を生み出す可能性があるように、複雑な技術作業の進歩も、自ら人工知能システムを開発できる人工知能システムを自然に生み出す可能性がある。

人工知能によって駆動される人工知能の開発自体には大きな潜在的リスクが内在している。政策立案者が取れる対策を評価する際、人工知能の発展速度のトレンドと、人工知能研究が複利効果を生み出し始めるかどうかを理解することが極めて重要である。

AIによるAI開発

• 人工知能の開発におけるガバナンス：人工知能システムが自らの開発と改善に使用される場合、人間はどのようにしてこれらのシステムを効果的に理解し制御できるのか？最終的に、これらのシステムをガバナンスするのは何になるのか？
• 情報爆発緊急訓練：情報爆発緊急訓練をどのように実施するか？デスクトップ訓練をどのように実施すれば、研究所のリーダーシップ、取締役会、および政府の意思決定能力を真正に検証できるか？
• 人工知能開発のテレメトリー：人工知能開発の全体的な速度をどのように測定するか？これらの情報を収集するには、どのようなテレメトリー技術と基盤技術が必要か？人工知能開発に関連する指標を、再帰的自己改善の早期警告シグナルとしてどう活用できるか？
• 人工知能の加速的発展を制御する：知能の爆発が近づいている場合、どのような介入点がその爆発の速度を遅らせたり変化させたりできるか？人類が介入できると仮定した場合、その能力を行使すべき主体は誰か——政府か、企業か？

人工知能が研究開発分野で応用されるケース——すなわち、人工知能によって推進される他の分野の研究：

• 技術の木：人工知能は、データの可用性、評価指標、およびどの程度の知識が暗黙的知識または制度的制約に制限されているかに応じて、特定の科学分野の発展速度を他の分野よりもはるかに加速している。この発展の不均衡度はどの程度か？科学的進歩がもたらす変化は、どのような人間の課題が優先的に解決されるかを意味するのか？
• 険しいフロンティア：モデルの能力は、ある分野では他の分野よりも優れている。薬物開発や材料科学など、大きな正の外部性を持つ分野には、その価値に見合った投資が行われていない。市場は私人の報酬に基づいてモデルの改善方向を導いているが、社会的外部性に対応するためにモデルの性能を改善することはできるだろうか？

本文は微信公衆アカウント「価値研究所」（ID：jiazhiyanjiusuo）より、著者：定西