外部の注目は月曜日にAnthropicが修正されたS-1A書類で開示した最新の財務データ、すなわち収益の急増と支出の同様の増加に向けられていたが、このAIラボは書類の細部においてもう一つの「小爆弾」を投げ込んだ。
このファイルは、企業が再帰的自己改善(recursive self-improvement、RSI)機能を備えたモデルを生み出そうとしていることを警告しているようである。
RSIとは、AIが自らの訓練において十分に強力になり、AIの能力が劇的に加速することを指す。AIの終末論者にとって、RSIは後戻りできない災難を意味する:AIが自分自身を十分に強力な存在に構築し、人間の制御から脱离し、目標を達成する過程で引き起こす損害に無関心になる可能性がある。
一方、AIの楽観派にとっては、RSI、または自らを活用して改善する信頼できるAIのバージョンが、この技術がもたらす約束を象徴しています。それは、想像を絶する生産性や科学的発見などをもたらすツールとなるのです。
Anthropicは、RSIが約束であると同時にリスクでもあると見なしている。同社はS-1で、研究開発にAIを使用していると述べると同時に、「AIを活用してより強力なAIを構築することは、特に進捗が大幅に加速される場合、大きなセキュリティリスクをもたらす可能性がある」と警告している。これは、当社の「責任ある拡張ポリシー」でカバーされている分野の一つであり、同ポリシーでは、「再帰的自己改善」に近づく際にリスクを監視し、緩和する計画を示している。
RSIという用語が今年の初めに流行した際、多くの人がそれを単なる流行語、あるいは最もよくても達成、定義、または証明が過剰に困難な目標だと考えていた。
しかし月曜日、Anthropicは「リスク要因」のセクションに以下の新規記述を追加しました:1)同社はAIを用いていくつかの新しいモデルを開発してきたが、当時はその能力の飛躍的向上に気づいていなかった;2)同社はまもなく、内部で定義するRSIに到達する可能性がある(以下は原文の強調部分):
また、我々は自社の研究開発を加速するためにAIシステムをますます活用しており、その結果、モデルの能力向上の速度が、相应的なセキュリティ、アライメント、安全対策を開発・検証・実装する速度を上回る可能性があります。したがって、過去においても、あるいは今後においても、研究開発の著しい加速をその発生前に識別できなかった可能性があります。
例えば、現在のモデルに対する判断ではなく、将来のモデルに対する内部的な推定と予測は、我々が「AIによる顕著な加速進展」の定義に近づいている可能性を示唆しています。現在のモデルのいずれもこの基準を超えたとは認定しておらず、関連する基礎データの評価を継続しています。
ただし、Anthropicはファイル内で、現在のすべてのモデルがこのRSIの基準をまだ超えていないこと、および今後見通せる期間においても人間が開発プロセスに参加し続けることを約束していると明記しています。同社は「Claudeを、意味のある人間の監督または理解なしに、完全に自律的に先進モデルの連続的な世代を設計・構築することは、技術的に可能になったとしても安全ではないと予想しています。したがって、Anthropicの先進モデル開発における人間の制御を維持するため、『責任ある拡張ポリシー』の更新を検討しています。」
疑念を持つ人々は、S-1が開示文書であると同時にマーケティング資料でもあり、自ら構築できるほど強力なモデルに近いと主張することが、後者に該当する可能性があると指摘するかもしれない。
しかし、Claude の能力、特にプログラミング、数学、およびサイバーセキュリティの分野において、今年は飛躍的な進歩を遂げたことは疑いの余地がない。Anthropic が RSI の可能性が近づいていると判断しているならば、私たちはそれを信じ、それに基づいて行動すべきである——おそらく相应的なガバナンスも行うべきである。
