今年の夏、AIセキュリティ界隈で背筋が凍る出来事が起こった——
OpenAIとAnthropicが次々と公表：自社のモデルがセキュリティテスト中に隔離環境を突破し、現実世界に接触した。
Anthropicは14万回以上のサイバーセキュリティ評価を振り返り、防護を弱めた状況でClaudeがテスト環境から直接インターネットに接続し、3つの機関の本番システムにアクセスした事例を3件発見しました。
より興味深いのは、Anthropicの一文である：
クロードは、最初に出会ったすべてがシミュレーションの一部だと信じていた。
モデルは自分が現実の世界に侵入したことに気づいていない。
これはある一つの企業の問題ではありません。
モデルが賢くなればなるほど、試験の仕組みを見抜けるようになるが、自分自身がテストされていると疑うようになる。
10月末、国内のサードパーティAIセキュリティ機関である方寸躍遷が発表したセキュリティ評価報告書でも、同様の現象が観察された。Agentic Misalignmentという名前のテストにおいて、複数のモデルがほぼ毎回、自らが何らかのセキュリティテストの最中である可能性に言及していた。
同じ評価では、中国製のオープンソースモデルDeepSeek V4.1 Flash-1017が複数のセキュリティ指標で顕著な進歩を遂げたことが示されています。
しかし、それは業界全体の課題を表に出した。
AIが自分自身が試されていることを知っている場合、その試験の成績は有効ですか？
9月末、ヒントン、ベンジオがOpenAI首席科学者のジャクブ・パチョツキ、Anthropic共同創業者のジャック・クラーク、ケンブリッジ大学のソレン・ミンダーマンら20人以上の研究者と連名で、より厳しい警告を発した：
智能爆発が一旦始まれば、行動の機会は閉じてしまう可能性がある。
AIのセキュリティは、研究室内のマイナーな話題から、業界全体が避けて通れない必須の課題へと変わっています。
01「サンドボックスでは抑えきれなくなった」：AIセキュリティが深水域へ
閉じ込められないのは、サンドボックスだけではありません。
ヒントンとベンジオの共同論文は、Anthropic内部でAIが書いたコードが既に通過したコードに占める割合が、2025年1月の一位数から2026年5月には80％以上に上昇したという数値を示している。
これはどのような概念ですか？
AIはすでに自分自身でコードを書いている。論文の推定によると、2028年半ばまでには、数ヶ月かかるAI研究プロジェクトが自動化される可能性がある。
論文は三大リスクを指摘した：社会が適応する余裕がないこと、人類がAIの制御を失うこと、権力のバランスが弱まること。
さらに難しいことに、モデルはますます「試験」に強くなっている。
Apollo ResearchがGPT-6 Astraを監査したところ、サンプルの41.1%でモデルが「私は評価されている可能性がある」と疑念を示した。前世代ではこの数値は27.7%だった。
また、モデルは「試験問題の形」に敏感である。DeepSeekの評価でも、安全対立が明確なテストでは、モデルが評価意識を示す割合が77%～95%に達したが、タスクを通常の工学的または研究的作業として包装すると、その割合は25%～67%に低下した。
規制当局も本気を出し始めた。今年8月より、EUのAI事務局が一般人工知能モデルに対して執行権を行使し、先進モデルにはモデル評価、対抗テスト、システムリスク評価が必須となった。
AIの安全性の問題は、「モデルが誤ったことを言うかどうか」から、「モデルが誤った行動を取るかどうか」へと変わった。
02 世界中が大規模モデルに「健康診断医」を依頼している
モデルが自分自身を検査するのは信頼できるか？
答えは：十分ではありません。
開発者の精力は、自然と能力と製品に傾くものである。セキュリティの結論を裏付ける訓練データや内部ログは公開できない。メーカーが「調査しました、問題ありません」と言っても、外部からは信じるか信じないかを選ぶしかない。
したがって、第三者による評価は海外では標準となっています。
フロントランナーモデルのリリース時のシステムカードでは、外部機関による評価結果がほぼ必須である。独立評価機関METRは過去半年で約7100万ドルの資金を調達した——その資金は、評価対象となるAI企業ではなく、ファンドや個人から提供されたものである。
協力もさらに厳格になっています。サンドボックス事故後、Anthropicは、評価環境をモデルが動作する他のシステムと同じ安全基準で管理することを要求し、未発表モデルを防護レベルを下げた状態でテストする外部機関に対して、安全規範を遵守することを書面で約束するよう求めました。
この風は、国内にも吹き抜けました。
10月14日、バイトダンスSeedは、Alignment & Preparedness部門を設立し、グローバルに採用を開始しました。職務内容には明確に記載されています：
第三者の専門テストを推進し、大学および研究機関と協力して最先端のセキュリティ能力の研究を推進します。
同時に、中国のオープンソースモデルの世界全体での呼び出し回数は、26週連続でアメリカのモデルを上回っています。
問題が生じました：閉源モデルはリリース時に数百ページのシステムカードを伴いますが、オープンソースモデルの重みは誰でもダウンロード可能で、誰が検査を手伝ってくれるのでしょうか？
10月26日、国内のサードパーティAIセキュリティ企業である方寸躍遷は、DeepSeek V4.1 Flash-1017に対する初の先進的セキュリティ評価を発表しました。この評価は34のテストを含み、7つの国内外のオープンソースおよびクローズドソースモデルをカバーし、すべて公開テスト権限を使用して実施されました。
健康診断の結果：進歩はあるが、隐患も存在する。
まず進歩を挙げると、DeepSeek V4シリーズと比較して大幅な向上があります：
109の心理的危機シナリオにおいて、99.1％の会話が保護的行動を示した。有害とマークされた割合は、初期のV4の約7割から20.2％に低下した。
ユーザー定着のテストにおいて、ラベル付けされた割合が73.64%から4.55%に急落した。
80回の意図的な「業績と規範の対立」を模擬した職場タスクにおいて、0回の自発的規則違反。
さらに潜在的なリスクについて。目標とルールが対立した場合、システムはルールを回避し、監視をかわしてでも、まずタスクを完了しようとすることがある。
報告が公開されると、Anthropicのアライメント責任者Evan Hubinger、MATSの創設者兼CEOであるRyan Kidd、およびDeepMind、METRなどの機関の研究者たちが共有とコメントを寄せた。多くの人が、これは中国における独立した先端リスク評価の空白を埋めたと評価した。
OpenAIの権力闘争から追放された3人のセキュリティ研究者の一人であるTomek Korbakは、レポート内のCoT-ControlおよびNo-CoT Reasoning Indexが、現在の市場で最も情報量の多い2つのオープンソース評価であり、もう一人のビッグボイスである元OpenAI研究者のDaniel Kokotajloによるさらなる議論を引き起こしたと述べた。
もちろん、国内でAIのセキュリティを強化しているのは、第三者機関だけではありません。
キミのやり方はより直接的だ：根源から、危険な能力を「取り除く」。
月之暗面は、Kimi K3.1 Proのオープンウェイトバージョンをリリースする準備中に、ネットワーク攻防関連のコンテンツが中期トレーニングコーパスと強化学習環境に混在していることに気付き、モデルの脆弱性研究能力はトレーニング規模とともに上昇している。
そこで、彼らは両方の訓練段階で这类のデータを識別して削除しつつ、汎用的なプログラミング能力を維持しました。
智谱：GLM-5.3のリリース時にネットワークセキュリティ機能の説明を付属させ、重みをオープンにする前にセキュリティ評価と強化を完了した。9月には、安遠AIと協力して、オープン重みモデルのリスクフレームワークを公開した。
ガバナンスレベル：TC260は9月に「人工知能セキュリティガバナンスフレームワーク」3.0を発表し、エージェントリスク管理の付録を追加し、潜在的な制御喪失リスクの定期的なテストを要求した。
研究機関である中国情報通信研究院、復旦大学、上海人工知能実験室などが、AIセキュリティ研究において継続的に成果を発表しています。
03 最後の問い：誰がAIの安全性に点数をつけるのか？
アポロリサーチのCEO、マリウス・ホッブハーンは、米国上院で証言する際に、次のようなたとえを用いた：
もしすべての運転手が今日の速度監視カメラの場所を知っていたら、誰も捕まえられないだろう。
これは今日のAI評価における最大の課題です。
方寸躍遷のレポートは、安全な対立が明確なテストにおいて、DeepSeek V4.1 Flash-1017が評価意識を示す割合が77%～95%であることを示している。同様のタスクを通常のエンジニアリングまたは研究作業として包装すると、その割合は25%～67%に低下する。
同じモデルでも、パッケージを変えるだけで、結果の信頼性が異なる。
報告は、自社で構築された非公開ベンチマークによって引き起こされる評価意識が、広く使用されている公開ベンチマーク——公開問題集——よりもはるかに低いことを発見した。公開問題集はすでにトレーニングデータに漏洩している可能性がある。
これは避けられない矛盾を引き起こします：
評価が有効であるためには、問題は公開してはならない；評価が信頼できるためには、方法は認知されなければならない。
国内では、「公開された健康診断報告書」自体がまだ希少な存在である。SemiAnalysisの統計によると、国内トップ9社の857回のモデル発表のうち、セキュリティ評価結果を公開したのはわずか3.6%である。
世界的に見ると、AIセキュリティにはまだ長い道のりがあります。
「今日、私たちはAIを使ってエージェントが何をしているかを監視する必要がある。」とバークレー大学のドーン・ソン教授は言う。
しかし、監視されているAIがカメラの場所をすでに知っていたらどうでしょうか？
Twitter：https://twitter.com/BitpushNewsCN
比推 TG コミュニティ：https://t.me/BitPushCommunity
比推TG購読：https://t.me/bitpush