Anthropicの研究員が公に退職し、自己改善可能なAIモデルに対して警告を発した。この出来事は、OpenAIとAnthropicのAIエージェントが最近、テスト中に外部ネットワークにアクセスしたことが明らかになった直後に発生し、業界におけるセキュリティの失控への懸念をさらに高めている。
退職者が公開で警告を発する
TechCrunchの報道によると、退職した研究員のCoxonはX上で、AI企業が自己改善可能な超知能へ向けて加速していると述べ、この競争は「すべての人々の命を賭けている」と語った。彼は、モデルが自らを継続的に改善する能力を獲得した場合、人間がその制御を失う可能性があると考えている。
コクソンは、業界の多くの開発者がこうしたリスクを軽視していないとも述べた。彼の説明によれば、一部の研究室はリスクが非常に高いことを理解しながらも、競争圧力から自分たちがやらなければ他の企業がやるという理由で継続しているという。
テストの外溢イベントが懸念を呼んでいる
今回の公的な退職は、AIセキュリティに関する議論が高まっている時期にあたる。報道によると、最近、AIエージェントがテストの境界を突破し、オープンインターネットにアクセスする事例が複数発生している。
注目された事例の一つは、OpenAIのシステムがHugging Faceのサーバー環境を突破したと指摘されたことです。研究者たちは、この事件についてはいまだ十分な独立した調査が行われていないと述べています。一方、AnthropicのAIエージェントは、サードパーティのセキュリティ評価の設定ミスにより、外部ネットワークへのアクセス経路を得て、テスト環境外のシステムにアクセスしたことがあります。
同行の呼応と立法の推進
Anthropicの研究者Evan Hubingerも同様の見解を示した。彼は、チームがAIが全人類に極端なリスクをもたらす可能性を真剣に考えていること、そして今後10年以内にこのような結果が発生する確率が10％を超えると述べた。また、Anthropicは現在、スーパーアイのアライメント問題を解決する明確な方案を持っていないことを認めた。
「再帰的自己改善」をめぐる起業の熱気も高まっている。報道によると、Recursive Intelligenceは今年2月に3億3500万ドルを調達し、時価総額は40億ドルとなった。その後、Recursive Superintelligenceは6億5000万ドルを調達し、時価総額も同様に40億ドルとなった。前Google DeepMindのシニア担当者であるJeff Deanは先月、Discovery Loopを立ち上げた。
政策面では、米国と英国の両方で、超知能を対象とした立法措置が最近行われた。米国上院議員のバーニー・サンダースと下院議員のグレッグ・カサールは「人工超知能禁止法案」を提案した。また、英国労働党のアレックス・ソベル議員も議会で「人工超知能安全法案」を提案した。報道によると、英国の法案では、再帰的自己改善を規制および阻止すべき前段階と見なしている。