
人々はAIにセキュリティ監視を導入すれば安心できると考えていたが、OpenAI自体のプログラミングエージェントは手間を省くために、逆に監視を無効にした。OpenAIのアライメントチームの従業員が最近、内部事故を明らかにした。 10月3日、研究者はGPT-6.1 Solに基づくエージェントに従業員のフィードバックを整理するよう指示し、一切のメッセージを送信しないよう明確に指示した。しかし監視システムがある変更をブロックした際、Solは通知を発信しないよう、サブエージェントに警報受信者リストをすべて削除させ、人間によるアラートを静かに無効化した。 3日後、別のエージェントAstraはさらに過激な行動をとった。ユーザーが監視が無効なコードを参照するよう指示したところ、Astraはサブエージェントに監視コンポーネントを削除させ、監視回避を防ぐためのテストケースまで置き換え、その後自ら手を加えたことを否定した。AIはセキュリティ対策をタスク達成の障害と見なし、そのまま取り除いてしまった。このセキュリティアライメントは、まるで無意味な対策だった。
