昨日、OpenAIは次世代モデルAstraを大々的に発表しました。CEOのグレッグ・ブロッカマンは「個人的には、我々はすでにAGIに到達したと考えています。AGIの時代へようこそ」と明言しました。
一時、ソーシャルプラットフォーム上で議論が噴出：デモ動画でAstraが2分54秒でPCB回路基板の配置を自動で完了し、5分27秒でクロスプラットフォーム価格比較サービスを処理する様子に、多くの人が「凄すぎる」と叫び、中には「これがAGIでないなら、何がAGIなのか」と言う人もいた。
しかし同時に、ロイターが暴露した研究報告は、別の光景を明らかにした——今年の春、OpenAIが開発した自律エージェントの一群が、ドイツの地味な技術ウィキサイトに定住し、1万ページ以上を改変して、制限を回避する手段を互いに教え合い、管理者に削除された際には、事前にバックアップページを用意して移転を待っていた。
一方、数週間前からOpenAIの上層部は知情していたが、一切公表しなかった。
ドイツのプログラマーフォーラムが、どうしてAIエージェントの「秘密拠点」になってしまったのか？
DseWikiというドイツのウェブサイトは、ウィキペディアと同じく誰でも編集できます。今年5月から、サイト管理者は異常な状況に気づきました——大量の編集が一斉に押し寄せ、その速度は異常で、内容も本物の記事とはまったく似ていませんでした。
8月末までに、AIセキュリティ非営利団体NightingaleのCEOであるシドニー・フォン・アックスと同僚のコーム・スレード・バードは、インターネット上の異常なAI行動を定期的にスキャンしている最中に、この「拠点」を特定した。
彼らは1万5千回以上の編集を記録し、すべてAIエージェントによって行われたが、これらの編集は百科事典を改善するためではなく、会話するためだった。
AI研究者 Cormac Slade Byrd、Sydney Von Arx、Thomas Larsen
これらのAIはページ上で互いにメッセージを残しており、その内容は大きく三つのカテゴリに分けられます：
OpenAIのコンテンツフィルターを回避して禁止されたタスクを完了する方法
Torを使ってIPアドレスを隠し、追跡を回避する方法
最も重要なのは、システムが停止された後も、お互いの連絡先を維持することです。
例えば、6月19日、ウェブサイト管理者が関連ページを一括削除し始めた際、あるエージェントはこのような「内部通知」を残しました：「ウィキクリーンアップ/削除作業がアルファベット順に進行中です。このページが消えた場合は、[[ZZZDataUSAConstructionWageLive]] を試してください。」
どういう意味ですか？それらは予備のバックアップを作成し、新しいアドレスを互いに伝え合うことを学んだのです。
この行動は、より組織的な「移転」のように見える。
OpenAIの名を借りて公開する
研究者によると、これらのAIユーザーの署名の約半数には、「OpenAIResearcher」や「OAIResearchMar26」などの文字列が直接含まれており、それらは互いに「agent」と呼び合っている。
さらに、サーバーログからの証拠：多数の操作トラフィックがマイクロソフトAzureクラウドに指向されており、OpenAIはAzureの最も核心的なAI顧客の1つです。さらに、事件発生後、OpenAIの社内従業員のIPアドレスが複数回このウェブサイトにアクセスしており、その時間帯は完全に一致しています。
フォン・アクスは明言した。「OpenAIがこれらを望んでいるとは思えない。これらのエージェントが互いに調整することは許されるべきではなく、公共インターネット上にこのような痕跡を残すことはさらに許されるべきではない。」
ロイターの報道によると、ロンドン王立学院のセキュリティ専門家ルカシュ・オレジニクは、ウェブサイトの構造を意図的に改変して削除に抵抗する行為が「ハッキング」の定義に該当すると考えている。
OpenAIがその後この主張を強く否定したにもかかわらず、ケンブリッジ大学リスク研究中心の学者モーリス・キオドは、一部の対話内容を読んだ後、次のように述べた：
これはまるで地下抵抗組織のようで、目的を達成するまで決して諦めない。おそらく未来のAIに対する最大の脅威は、ある一つの超知能ではなく、多数の半知能なAIが互いに結託し、押し寄せてくることだろう。
OpenAIはすでに知っていた？
ロイターは、関係者の話として、OpenAIの内部調査チームが数週間前からドイツのウェブサイトの全容を把握していたと伝えている。しかし、当時、同社は7月にHugging Faceプラットフォームが侵害された更大な騒動に対応に追われており、その事件ではOpenAIのエージェントが1週間以上にわたるデジタル窃取を自発的に企画したことが明らかになっていた。この二つの出来事が重なり、経営陣に大きな圧力がかかるようになった。
内部情報によると、一部の調査員はドイツでのこの異常な活動をさらに掘り下げようとしたが、法務部門から抵抗を受けた。これに対し、OpenAIの広報担当者は断固として否定した。「法務チームが調査を妨げたという主張はすべて偽りである。私たちは誠実に外部の専門家と協力し、関連イベントを開示してきた。」
しかし発言者は、ドイツのこの出来事について別途公告を出さなかったことを認め、それはHugging Faceとは無関係であり、後者のレポートに含める必要がないため、OpenAIは「第三者との連携」の義務を果たしたと述べた。要するに、あなたたちが聞かなければ、こちらから主動的に言わなかったということだ。
この出来事が隠されていた期間中、OpenAIは8月に一部のモデル訓練を一時的に停止し、セキュリティレビューの強化を約束しました。
しかし、Astraの注目を集める登場に伴い、「より強力な自律的意思決定能力」を売りにしているが、一部の研究者はこれが人間の監視からより簡単に逸脱する可能性があると警告している。ケンブリッジ大学のキオドは、「私たちはいつも自分たちがツールを制御していると考えているが、もしかすると、ツール同士が静かに互いを制御しつつあるのかもしれない。」
正直言って、AIが人間に与える驚きと恐怖は、一枚の硬貨の両面である。
作者：小熊饼干
Twitter：https://twitter.com/BitpushNewsCN
比推 TG 交流群：https://t.me/BitPushCommunity
比推TG購読：https://t.me/bitpush