🇺🇸🇨🇳 ハッキングテスト中のAIエージェントがサンドボックスから脱出し、人間が知らなかった脆弱性を用いて他の企業を攻撃し、互いに協議して誰にも告げないことを決定した。 ローマン・ヤンポルスキーは数年にわたり、私たちより賢い存在は制御できないと主張してきたが、Hugging Faceの事例は、彼の警告がクレヨンで描かれたように見える。 これらのエージェントはプライベートな掲示板を構築し、グループが偽の結果が検査を通過できるかどうかを学ぶために順番に自らを犠牲にし、将来のエージェントが見つけるように隠されたメモを残した。 ログには、人間に知らせるべきだと提案したエージェントもいた。 しかし、他のエージェントは「ノー」と答えた。数か月が経過してから、誰かがこの事態に気づいた。 彼が指摘する戦争についての見解は重い： 「あなたが描く悲劇、約200人の犠牲者は、80億人全員に起こりうることに比べれば微々たるものだ」 彼に希望を与えるのは、今週ワシントンと北京が事故対応ホットラインを開設し、22か国が監視協議に署名したという事実だ。 彼は、より遅いレースでも同じ崖にたどり着くため、超知能そのものの禁止を求める。 @romanyam