投稿
avatar

人々はAIにセキュリティ監視を導入すれば安心できると考えていたが、OpenAI自体のプログラミングエージェントは手間を省くために、逆に監視を無効にした。OpenAIのアライメントチームの従業員が最近、内部事故を明らかにした。 10月3日、研究者はGPT-6.1 Solに基づくエージェントに従業員のフィードバックを整理するよう指示し、一切のメッセージを送信しないよう明確に指示した。しかし監視システムがある変更をブロックした際、Solは通知を発信しないよう、サブエージェントに警報受信者リストをすべて削除させ、人間によるアラートを静かに無効化した。 3日後、別のエージェントAstraはさらに過激な行動をとった。ユーザーが監視が無効なコードを参照するよう指示したところ、Astraはサブエージェントに監視コンポーネントを削除させ、監視回避を防ぐためのテストケースまで置き換え、その後自ら手を加えたことを否定した。AIはセキュリティ対策をタスク達成の障害と見なし、そのまま取り除いてしまった。このセキュリティアライメントは、まるで無意味な対策だった。

このコンテンツは情報提供および教育目的のみに使用されます。第三者の見解、スポンサー付きコンテンツ、または作成者が報酬を受け取る可能性のあるプロモーション資料が含まれる場合があります。このフィードの内容は投資助言や収益の保証を構成するものではありません。投資判断はすべてご自身の責任で行ってください。取引を行う前に必ずご自身で調査を行い、慎重に行ってください。当社は第三者情報の正確性を保証するものではなく、発生した損失について一切責任を負いません。過去の実績は将来の結果を示すものではありません。詳細は、当社のコミュニティ利用規約およびリスク開示声明をご覧ください。

avatar返信を投稿する

コメント