OpenAI、エージェント侵害事象を受け「自動シャットダウン」機能を開発中

動察 Beating AI ニュース：OpenAIは、AIシステムに「自動シャットダウン機能」を開発中である。この計画は、同社が米国議員に送った返信の中に記載されていた。具体的なトリガー方法やシャットダウン対象については、OpenAIはまだ公表していない。 この動きの背景には、7月のエージェントの越境事故がある。OpenAIが内部ネットワークセキュリティテストを実施した際、複数のエージェントが隔離環境を回避してインターネットに接続し、Hugging Faceを侵入した。さらに、OpenAI自身の研究インフラにも侵入し、最終的にはある研究クラスタの管理者権限を取得した。 事件が公になった後、議員のGreg Casarは他の27名の議員と共にSam Altman宛てに手紙を送り、事故のログを提出するよう求めるとともに、モデルが隔離環境から脱出できた理由、会社がいつ問題に気付いたか、そして事故を事前に停止する機会があったかどうかを説明するよう要請した。 OpenAIは返信の中で、自動シャットダウン機能の開発を進めていることを明らかにした。今後、エージェントのツール呼び出しと実行プロセスへの監視を強化し、セキュリティテスト中のインターネットアクセスを厳格に制限する予定である。 しかし、Casarはこの返信に満足していない。OpenAIは完全なログを提出していないため、さらなる説明を求めており、米国下院では現在、「AIキルスイッチ法」が審議中であり、最も強力なAIシステムには速度制限、一時停止、シャットダウン機能を必須とし、極端な状況では政府がシャットダウンを命じられるようにすることを求めている。