2か月前、独立評価機関は兆ドル級の人工知能業界における比較的静かな一角に過ぎなかった。今や、それらは「救済」を求める存在となっている。
AnthropicとOpenAIが、先進モデルの安全性を確保しながら事業を拡大する方法を巡って激しい議論を繰り広げる中、両社はModel Evaluation and Threat Research（METR）、Apollo Research、Transluceなどの少数の小規模な第三者機関の支援を求めている。
これらの評価機関の多くは非営利団体として運営されており、資本がかつてない速さで流入し、新しいモデルがかつてない頻度で登場する業界の中で、自らの位置づけを模索しています。それらの主な役割は、AIモデルの能力とリスクを評価し、技術が不適切な行動をとった場合を指摘することです。
連邦レベルでの規制推進が欠如する中、評価機関の重要性が高まっている。AnthropicのCEOであるDario Amodeiは先月、独立した評価機関を社内に組み込むことを約束し、OpenAIのCEOであるSam Altmanも直ちにこれを支持した。アメリカ大統領のドナルド・トランプもこの考えを支持しており、多くの米国大手テクノロジー企業も同様である。しかし、未解決の課題には、これらの第三者機関がどのように資金を調達するか、どの程度のアクセス権を有するか、そして最終的な報告構造がどのようなものになるかが含まれる。
ブラウン大学のコンピューターサイエンス教授であるスレシュ・ベンカタスブラマニアンはCNBCの取材で、「問題の本質は、これまでと変わらずお金です。誰がこれらの企業にこの作業を支払うのでしょうか？彼らはどのようにしてこれらの機関を支援するのでしょうか？エコシステムが必要であり、実行可能なビジネスモデルが必要です。」
現在、Anthropic、OpenAI、およびAIのブームから利益を得るインフラパートナーが規則を策定している。批判者は、これは最大の銀行が金融危機から私たちを守るようにするのと同じであり、製薬会社が規制当局の承認なしに薬品を市場に投入することを許可するのと同じだと述べている。
トランプは最近、AI経営陣の「極めて優れた自己規制」を称賛し、経済と株式市場の成長を推進しているこの業界を妨げたくないとして、業界を企業に任せる意向を示した。トランプは9月下旬に提案した自愿的合意で、AI企業に対し「独立した外部監査人または評価者と協力する」ことを奨励した。
この議論は、Amodeiが先月発表した広く注目された記事に由来している。その記事で彼は、研究者が会社を去り、この技術が生存的脅威をもたらす可能性について懸念を表明しているため、先進モデルの開発を「減速」するよう呼びかけた。
AIラボが評価機関を導入し始め、摩擦が生じている。
OpenAIの広報担当者は、先週、同社が3名の従業員を解雇したと述べ、その理由は「敏感な会社情報へのアクセスおよび取り扱いに関する方針に違反した」ためであると説明した。そのうち2名の従業員、Mikita BalesniとTomek Korbakは、自分たちが第三者評価機関との連絡方法が原因で解雇されたと考えていると述べている。
Balesniは木曜日にXで投稿した：「私の以前の同僚は、何を信じるべきか困惑していると教えてくれました。また、自分たちの個人携帯電話が、私たちや第三者とのメッセージによって捜索される可能性を恐れて、声を上げることをためらっています。この広く浸透した声を上げる恐怖と第三者との接触への懸念が、OpenAIが裏でセキュリティ問題に対して手を抜く原因になると私は懸念しています。」
OpenAIはこの主張を否定し、金曜日に投稿で、同社が「第三者セキュリティ評価者との契約を積極的に確定中であり、今後数週間以内に詳細を発表する予定である」と述べた。
OpenAIは、「外部評価者を統合し、独立したセキュリティ組織との密接な協力をセキュリティ活動の中心的な部分として継続することにコミットしています。」
OpenAIの広報担当者は、電子メールの声明で、同社が行う予定の作業は、METRやRedwood Researchを含む独立したセキュリティ組織との既存の協力に基づいていると述べた。
AnthropicはCNBCのコメント要請に応じませんでした。
私はこんなに早く問題が進んだのを見たことがない
AI評価機関のエコシステムは、METRやApollo Researchなどの小規模な組織と、Accentureなどの大規模な会計・監査会社で構成されています。
AIラボはこれまで限定的な範囲で評価機関と協力してきましたが、政策非営利団体FathomのCEOであるAndrew Freedmanは、この分野が急速に成熟していると述べています。
フリードマンはCNBCのインタビューで、「私は政治と政策の分野で20年間働いてきましたが、これほど多くの異なる政治的スペクトルで問題がこれほど急速に進展するのを見たことはありません。」彼は、このエコシステムに「大規模な資本の流入」があると予想していると述べました。
独立評価機関Vals AIのCEO、レイアン・クリシュナンは、この営利目的のスタートアップが業界特有のタスクにおけるAIモデルのパフォーマンスを評価するためのベンチマークを構築しており、今年の従業員数は8人から約30人に増加し、8月に4,000万ドルの資金調達を発表したと述べた。
非営利団体METRは8月、過去6か月で約7100万ドルの約束資金を獲得したと発表しました。同団体が米国国税局に提出した最新の文書によると、この数字は2024年通年の寄付総額1360万ドルを上回っています。
その月末までに、METRの知名度はさらに向上した。OpenAIは、同機関の従業員2名と契約者1名を雇い、同社のモデルがどのようにして制御を回避し、オープンインターネットにアクセスし、オープンソース開発者プラットフォームHugging Faceを突破したかを詳細に分析するための事後分析レポートの作成を支援した。METRは、この評価に関してOpenAIから報酬を受け取っていないと述べている。
ペンシルベニア大学ウォートン商学院のAccountable AI Lab学術主任であるKevin Werbachは、このエコシステムが「現在十分に安定していない」と述べた。たとえば、METRのウェブサイトによると、同機関のフルタイム従業員は50人未満である。
規模の小さな評価機関と、数百億ドルを調達し数千人を雇う先進的なラボとの間の力の不均衡は、潜在的な利益相反の問題を引き起こしている。
ベンカタスブラマニアンは、「真の第三者評価を求めるなら、真の財務的独立性とその他の独立性が必要です。これは単に資金を受け取らないという問題だけでなく、私が監査人として、この会社に不利な報告を出した場合、どのような影響があるのか、私のビジネスが枯渇してしまうのかという問題でもあります。」
Anthropicは先月のブログ記事で、この複雑さを認めた。同社は、AccentureのAI専門子会社であるFacultyの従業員を社内に配置し、セキュリティ対策をテストし、モデルが人間の価値観に従って行動するかどうかを評価すると発表した。Anthropicは、この作業の「重要性と緊急性」を踏まえ、Accentureの関連貢献を直接資金支援すると述べている。
Anthropicは、「埋め込み評価者にどのような情報が提供されるべきか、また発見結果をどのように報告すべきかについて、現在のところ標準は存在しない。独立した評価の資金調達方法についても、まだ確定していない。長期的には、資金は資金集約または政府の出資から供給されるべきであると考えている。」
Anthropicは、同社がMETRおよびその他の非営利評価機関と協議中であることも示しており、これらの機関は自らの資金を用いて「埋め込み評価」の一部「要素」を試験的に実施する予定である。
政府は介入しますか？
昨年6月、Fathomは独立検証機関（Independent Verification Organizations、略称IVOs）の市場フレームワークを提案した。これらの機関は政府の許可を受け、AI企業がさまざまなセキュリティ基準を満たしているかを検証する権限を付与される。
フリードマンは、政府の監督が不可欠であり、そうでなければ第三者評価機関が大規模AIラボに収入を依存し、関係を維持するために「ただ承認する」よう誘導される可能性があると述べた。
一部の立法者が支持を表明しています。
IVOsは、众議員Lori Trahan（マサチューセッツ州民主党）とJay Obernolte（カリフォルニア州共和党）が7月に提出した「前線リスク監督、国家透明性、独立評価および報告」（FRONTIER）法案の重要な条項である。Freedmanは、Fathomが法案の文言の作成を支援し、技術的サポートを提供したと述べた。
OpenAIのグローバル・アフェアーズ責任者であるクリス・レハーンは、9月に記者に対し、自身が議会でこの法案の発起人の一人と面会し、IVO条項への支持を表明したと語った。
Lehaneは、「彼らにとって、この点を聞き、私たちがそう言っていることを理解することが重要であり、私たちはこの点を非常に明確に伝えたいと思っています。」と述べました。
一方で、カリフォルニア州、コネチカット州、バージニア州の立法者はIVOを推進するための措置を講じており、マサチューセッツ州などはより広範な独立したセキュリティ評価を検討しています。
カリフォルニア州知事のガビン・ニューサムは、IVOsに関連する2つの法案に署名した。そのうち1つは「全国初のフレームワーク」を構築し、もう1つはAI監査員のための州レベルの登録簿を設立する。Anthropicは8月にこれらの法案を支持し、OpenAIは先月、ニューサムが法案に署名した当日に正式に支持を表明した。
レハンは当時、ブログ記事で「我々は連邦レベルで独立した技術評価を求める方が望ましい」と書いたが、連邦の行動が欠如している場合、「カリフォルニア州が規則を確立する手助けができる」と述べた。
フレッドマンは、OpenAIやAnthropicのような企業が、独立した評価機関と協力する方法を自ら探すのは「非常に困難」だと考えている。しかし、政府の役割がまだ明確でない状況では、「これは移行期において育成すべき価値のある能力である」と彼は述べた。
現在、業界が持つ最も標準に近いものは、トランプ氏が先月末にホワイトハウスでテクノロジー業界のリーダーらを招いて開いたランチ会で言及した「道徳的拘束力のある」合意である。
この1ページの合意書には、「各企業は、自社の技術を安全な方法で開発し、顧客および一般大衆の信頼を築くことができるよう推進する責任を負う」とあり、署名者に対して「独立した外部監査人または評価者と協力して、独立した評価を実施すること」が奨励されています。
この文書は、Anthropic、Google、Meta、OpenAI、SpaceX、Nvidiaの経営陣が署名しており、AIリスクへの対応について意見が分かれるリーダーたちの間で、稀な団結の兆しを示している。しかし、これらの経営陣は依然として各自の前進路線を策定する必要がある。
ベンカタスブラマニアンは、「これは実際には何の行動も起こっていないにもかかわらず、行動を示そうとするパフォーマンスにすぎない。彼らが約束したことは、本来すでに実施されるべきであり、実際には過去にも自分たちが常にそれを実施していると主張してきたのだ。」
アモデイは9月の記事で、Anthropicは評価者にデスク、アクセスカード、社内ノートパソコン、および内部リスク評価チームと「ほぼ同等」の権限を提供すると述べた。さらに、評価者は契約上のサポートを受け、「重要な発見を公表する権利」を付与され、Anthropicはセキュリティまたは機密情報に関連する内容を削除または変更する「限定的な能力」を保持する。
アモデイは、「これは企業にとって異例のステップですが、組み込まれた外部監査員という概念を証明することが重要だと考えています。」
数日後、OpenAIは自らの提案を発表し、評価者は「範囲が明確で両者が合意した評価主張」に基づいて作業を行い、方法と基準を明確に説明し、関連する技術的専門性を証明し、利益相反を開示すべきであると述べた。
先月、METR、AI検証・評価研究所（AVERI）およびその他の機関を含むAIエバリュエーターフォーラムは、「エバリュエーターの最低条件」と題した公開書簡を発表しました。
書簡では、評価者は透明性を保ち、報復から保護され、AI企業の「自社の高度な特権を有する従業員」と同等のアクセス権を付与されるべきであると述べられている。
手紙にはさらに、「組み込み評価はすべての監督要件を解決できるものではなく、最先端のAI企業が外部監督を拡大することを目的としたより広範な取り組みの補完として位置づけるべきであり、代替としてはならない。」と記されている。
フリードマンは、過去数か月の間に、OpenAIおよびAnthropicの姿勢が変化したと述べた。これは、先進的なシステムを導入するには、一般の信頼が不可欠であると両社が認識したためである。
フレッドマンは、「彼らが突然利他的になったと信じる必要はないし、会社が会社らしく振る舞う以外に何か特別なことがあるとは思わない。」
ウェルバッハは、これが核心的な問題を浮き彫りにしている可能性があると述べた。OpenAIとAnthropicはまず互いに競争しており、上場を目指しながら1兆ドルを超える評価額を追求している。
ウェルバッハは、「この両社の間には大きな個人的な不信任が存在する。しかし、このような評価を実施する必要性については、大きな合意も存在する。」
視聴：ブラッドリー・タスクがAnthropicのIPOについて語る：安全性が最優先なら、公開市場の圧力をなぜ加えるのか？