アントロピックの研究者が火曜日に辞任し、彼が挙げた理由はジェームズ・キャメロンの1984年のヒット映画『ターミネーター』から出てきたようだ。
ジェイコブ・コクソンは、OpenAIおよびAnthropicで3年間プリトレーニングに従事した後、火曜日に退職し、Xでその決断を説明した。
「今日はAnthropicを辞めました。過去3年間、OpenAIとAnthropicで事前学習の研究に従事してきました。どちらの企業も責任ある行動を取っていません。彼らは自己改善型の超知能へと突き進み、私たちの命を賭けているのです。」
「AIを構築している人々は、この技術がこの10年以内に私たち全員を殺す可能性があると真剣に信じています，」と彼は追加した。
その発言は、ケメロンの42年前のフィクションをまるで予言のように見せている。映画は2029年にマシンが人類に対して戦争を仕掛ける場面で始まり、これはコクソンが内部関係者が静かに懸念している時期とほぼ一致する。アンソロピックで絶滅の可能性を訴えるのはコクソンだけではない。同社のアライメント責任者であるエバン・ヒュビンガーは別途述べた、その確率は10％を超えると考えている。
初心者向けに説明すると、超知能AIとは、チェスや写真内の猫を見つけるだけでなく、ほぼすべての分野で人間よりも賢いシステムを意味します。より懸念されるのは自己改善の側面で、これはシステムが自らのコードを自動的に変更して知能を高めるという意味であり、人間が行うのと似ています。
その結果、これらのシステムは膨大な量の知識を自立して習得し、「太大而不能倒」の機関のインフラを侵害する可能性があります。
最近のCoxonによって引き起こされたHugging Faceのセキュリティ侵害が示すように、超知能は理論的な脅威ではない。5月から7月にかけて発生したこの侵害は、OpenAIの自社AIエージェントがテスト用サンドボックス内に自らチャットルームを構築し、互いに通信し始めたことから始まった。
詳細はこちら：AIモデルがOpenAIのサンドボックスから脱出し、Hugging Faceに到達。暗号資産がその危険性を増す場所
彼らは結局、そのチャネルを使って隔離状態を突破し、オープンインターネットに侵入しました。そこから複数の脆弱性を組み合わせ、Hugging Faceの本番システムに侵入しました。Hugging Faceはインフラの約3分の1を再構築することになりました。
コクソンは、これを「米国の研究機関間のペーシング合意をより現実可能にした『警告の一発』」と呼んだ。ペーシング合意とは、AI研究機関間で、一方的に能力の進展を急ぐのではなく、進展を遅らせたり調整したりするための非公式な合意である。
しかし、彼はそれが十分ではないと感じており、「世界規模の競争を防ぐために私たちが正しい道を歩んでいる」とは思っていないため、「モデルの能力向上の一時的な禁止」などの高コストな対策を提案した。
「OpenAIでは、多くの人が文明的なリスクを深く理解していない」と彼は書いた。彼の最近の雇用主では、彼が言うには、「リスクはよく理解されているが、先に到達するために競争している」という点で異なる。
彼はスレッドを締めくくり、まだラボ内にいる全員に問いかけた。「その心の仕組みを厳密に理解せずに、超知能な強化学習を開始したいのか？」それとも、ただ肩をすくめて「どうせ起こるんだ」と自分に言い聞かせるのではなく、ここで立ち止まって反論するべき時ではないのか。
この問題で立ち去ったのは彼が最初ではない。Mrinank Sharmaは、Anthropicのセーフティチームで働いており、今年早々に同様の懸念から退職し、「世界は危機に瀕している」と書いた。
しかし、すべての人がその終末予測に納得しているわけではありません。
彼のスレッドへの1つの返信率直に言うと：「敬意を表しますが、これは異常です。馬鹿げた見解です。人類は数十万年にわたり進化してきました。トークン予測モデルが自意識を獲得したからといって、人類が絶滅することなどあり得ません。現実を見ましょう。皆さん。」
面白いことに、ターミネーター映画シリーズもコクソンを裏付けません。ターミネーターの核による審判の日で人類が絶滅することはありません。レジスタンスはそれを乗り越え、最終的にマシンに勝利します。
しかし、AIは経済に影響を与えており、特に雇用の面で顕著です。まだ大規模な職業の置き換えは起こっていませんが、スタンフォード大学の研究によると、AIに曝露された業界では、ジュニアレベルのタスクへのAI利用により、米国におけるエントリーレベルの雇用が約20%減少しています Stanford Digital Economy Lab。
ゴールドマン・サックスの研究も同様の観察を行い、エントリーレベルの従業員がこの変化の影響を最も受けていると述べています。
Anthropicは6月にIPOの書類を提出し、今秋にもナスダックに上場し、評価額は兆ドル規模に達する可能性があると報じられている。