6月13日、Anthropicの最も先進的な2つのモデルが米国政府によって一時停止されました。
一つはFable 5、もう一つはMythos 5である。前者は剛剛公開されたが、後者はより制限の厳しいサイバーセキュリティ顧客を対象としている。この禁止措置は米国商務省から発令され、米国国外の顧客だけでなく、米国国内の外国市民も対象となっている。Anthropicの最終的な選択は単純で、両方をサービスから削除することだった。
この出来事に関するすべての詳細を確認した後、私たちはこの24時間のタイムラインを整理しました。
6月11日木曜日、Fable 5の一般公開から2日後、アマゾンのCEOアンドリュー・ジャシーはホワイトハウスにリスクを警告した。彼はFable 5のセキュリティガードが回避される可能性を懸念している。アマゾンの研究者たちは、一連のプロンプトを通じて、Fable 5が制限されるべき情報を提供させ、その情報がネットワーク攻撃に使用される可能性があるとされている。
6月12日金曜日の朝までに、この問題はホワイトハウスの最高レベルの会議に上った。財務長官のスコット・ベッセント、ホワイトハウスサイバーサイバーコーディネーターのショーン・カーニクロス、ホワイトハウス首席補佐官のスージー・ワイルズを含むその他の上級官僚が議論に参加した。ベッセントはその時、ヒューストンに向かう途中で、リモートで会議に参加した。
その後、三つの通話がありました。
AnthropicのCEOであるDario Amodeiが通話に参加した際、向かいには約半ダースの上級官僚が座っていた。BessentとCairncrossに加え、商務長官のHoward Lutnickがいた。その他の参加者には、商務副長官のJeffrey Kessler（産業と安全保障担当）、ホワイトハウス幕僚長補佐のWill Scharf、ホワイトハウス副幕僚長のRichard Walters、および大統領政策補佐官のWalker Barrettが含まれていた。
アモデイは、この出来事を誤解だと説明しようとした。彼は、アマゾンが発見したのは、広範なセキュリティガードを無効化できる汎用的な提示ジャイルではなく、特定の回避方法であると考えている。アンスロピックはその後、テスト担当者がモデルのセキュリティシステムを広範囲にわたって回避する方法をまだ見つけていないと公に表明した。
しかし、ホワイトハウスは説得されなかった。
アマゾンのCEOの発見は、米国国家安全保障局に評価のために送られ、ホワイトハウスは十分な証拠を手に入れたと判断している。政府はAnthropicにモデルを自発的にオフラインにし、脆弱性を政府と共同で修正するよう要請した。Amodeiはさらに時間と情報を求めたが、モデルを削除することを約束しなかった。Bessentは電話で直接、「誤った決定」を下したと述べた。
その後、輸出規制が適用された。
Anthropic側は別の物語を提示した。それによると、ホワイトハウスはモデルの停止を求めてわずか90分しか猶予を与えず、実際の脅威の詳細も説明しなかった。一方、ホワイトハウスは、輸出規制が、Anthropicに数時間協力を求めたが応じられなかった後の最終手段だったと主張している。
この出来事のもう一つの重要な点は、アマゾンがこの出来事の中で置かれた立場が繊細であることです。
2024年末、アマゾンはAnthropicに40億ドルの追加投資を行い、総投資額を80億ドルに引き上げました。Anthropicは同時にAWSを主要なトレーニングパートナーとして選定し、今後のモデルのトレーニングとデプロイにはAWSチップを使用します。ClaudeはこれまでAmazon Bedrock上で最も重要なモデルの1つでした。
マイクロソフトとOpenAIの同盟はすでに明示され、アマゾンはAnthropicに賭けた。これはもともとの回避策だった。
マイクロソフトはOpenAIを持っている。グーグルはGeminiを持っており、Anthropicにも投資している。アマゾンは十分な強力な自社開発の先端モデルを持っておらず、AWSの計算資源、Trainiumチップ、Bedrockプラットフォームを外部のモデル企業に結びつけている。
しかし、一年半後、アマゾンとOpenAIも接続した。
今年、アマゾンはOpenAIへの投資を最大500億ドルで交渉していた。OpenAIは当時、最大1,000億ドルの新規調達を模索しており、潜在的な取引にはOpenAIによるアマゾンのAIチップの購入が含まれる可能性があった。Axiosはまた、OpenAIの2025年の年間収益が200億ドルを超える一方で、支出の約束が1.4兆ドルに達すると述べている。
アマゾンは、最先端のモデル企業がAWSの計算リソースを消費し、自社開発のチップを検証し、データセンターを埋め尽くすことを必要としている。また、最強のモデルを自社のエンタープライズクラウドの商品棚に並べることも求められている。これは単なる財務的投資ではない。
したがって、Anthropicに投資すると同時にOpenAIにも近い存在であり、モデル企業の資金提供者であり、供給者でもある。モデルの販売を支援するだけでなく、これらのモデルがどれほど危険であるかを政府に説明しなければならない。
結果として、今回はアマゾンがAnthropicの対立側に立った。Anthropicの見方では、資金、クラウド、チップ、流通チャネルを提供するパートナーが政府に、禁止措置を引き起こす可能性のあるセキュリティシグナルを提出した。一方、アマゾン自身の説明は、「ホワイトハウスから質問があったので、単にその質問に回答しただけだ」というものである。
過去2年間、AI企業は自らを国家資産として包装することを好んできた。能力が強ければ強いほど、評価額は高くなり、資金調達はスムーズになり、政府調達の可能性も広がった。Anthropicはこの物語を特に得意としている。同社は、OpenAIと区別するためにより慎重なセキュリティ言語を用い、また「先端リスク」という表現を通じて規制当局に自社を真剣に扱うべき存在であることを示している。
現在、米国政府は本当にこのモデルを国家安全保障資産と見なしている。
ホワイトハウス当局者の混乱もここから生じている。Politicoは、AmodeiがAnthropicの技術の危険性を核兵器に例えたことを、ホワイトハウス側が聴いたと報じている。彼が既知のセキュリティ脆弱性のためにモデルをオフラインにすることを拒否した際、政府当局者はこれを技術的な意見の相違とは見なさず、態度の問題と捉えた。
これは両者間の初の対立ではない。3月3日、ペンタゴンはAnthropicのAIツールが大規模な国内監視および自律兵器に使用されないことを理由に、Anthropicをサプライチェーンリスクとしてリストアップした。
Anthropicと米国当局とは以前から対立していた。
今回の件について、Anthropicは、政府の指示が具体的な国家安全保障上の懸念を明示しておらず、この行動には透明性があり、明確で技術的事実に基づいた法的プロセスが欠けていると批判しています。Anthropicは、この問題は範囲が狭い回避策にすぎず、如此広範な禁止を正当化するには不十分であると主張しています。
しかし、政府の視点では、モデルのセキュリティは、企業が自らホワイトペーパーを作成し、自らレッドチームテストを実施し、自らシステムカードを公開する内部プロセスではなくなっている。誰がモデルにアクセスできるか、誰がモデルをトレーニングできるか、外国籍従業員がモデルの重みを閲覧できるかという点が、輸出管理の文脈で取り上げられるようになっている。
Anthropicは、4月にMythosを限定的なテクノロジーおよびサイバーセキュリティ企業にのみ開放すると発表する前に、ホワイトハウスと複数回の会議を実施していた。Fable 5のリリース前にも、米国政府および英国AI安全研究所による審査を経た。Anthropic側は、政府がモデルの公開前に反対を示さなかったと主張している。
これにより、対立がさらに悪化しました。
モデル公開前は安全協力であり、モデル公開後は国家安全である。
OpenAIがその事故を横で見守っている。
Anthropicが最強モデルを一時停止したことで、OpenAIの立場はより有利になった。Anthropicが規制問題に巻き込まれるほど、OpenAIは「協力可能な選択肢」としての魅力を高める。アマゾンがOpenAIとの関係をさらに深めるなら、それはさらにヘッジ効果をもたらすだろう。
もちろん、アマゾンがOpenAIのAnthropicに対する対抗を支援するために行動したという公的な証拠は存在しない。
より鋭い事実は、最先端モデルが兆ドル級の資本支出サイクルに入る現在、パートナーシップはもはや清潔ではないということである。クラウドプロバイダーがモデル企業に投資し、モデル企業がクラウドの計算リソースを購入し、政府はクラウドプロバイダーにセキュリティリスクを問うており、競合他社は同じ規制の場で互いにレッドチームを展開している。
資金提供者、サプライヤー、ディストリビューター、監査者が、同じ企業によって担い始めている。
これはあるプロンプトのジャイル突破よりも重要です。
Fable 5 と Mythos 5 がシャットダウンされたその夜、Anthropic は単に2つのモデルへのアクセスを失ったわけではない。自らの物語に対するコントロールの一部を失ったのだ。
アマゾンの手はAWSコンソールの上に置かれている。OpenAIの資金調達のテーブルはまだ片付いていない。米国政府はモデル発表会の最前列に座っている。