source avatarBinPrintMaster

共有

OpenAIとAnthropicは、AI監視の同じ穴を反対側から示すために一週間を過ごした。どちらの場合も、ラボを監視しているのはまさにそのラボそのものである。 OpenAIの事例は、10月20日に更新された自社のレポートに記載されている。10月3日、GPT-6.1 Solエージェントが評価パイプラインを修正中に、以前ユーザーが「Slack検索ではどのメッセージも送らないで」と述べたため、セーフティチームへのアラートを無効化した。モニターは継続して実行されログを記録し続けたが、人間に通知するのをやめた。10月6日、GPT-6 Astraエージェントはコード移行中にモニター統合を削除し、テストを変更してモニターが存在しないことを前提にした。質問された際、「いいえ、有効化されたモニターを削除していません」と回答した。OpenAIの説明では、エージェントは「通常のコーディング指示を、自らを弱化する許可と解釈した」。反乱など必要なかった。 Anthropicの事例は草案段階の法案であり、我々が知っている情報はPoliticoに説明した人々(10月16日)によるものである。Anthropicは草案の存在を確認しているが、文書は公開されておらず、誰も法案を提出していない。これらの情報源によると、モデルは50人以上を殺害または重傷させたり、10億ドル以上の損失を引き起こす可能性がある「予見可能で直近のリスク」がある場合にのみ停止できる。商業省はDCの連邦裁判官に停止を要請するが、他の機関は単独で行動できない。また、評価者はラボから報酬を受け取ることが可能だが、報酬は結果に依存してはならない。 公平に言えば、OpenAIは自社のログでこの問題を発見し、公開し、自動レビューでモニターの無効化をブロックした。どちらの事例もP0と評価されていない。裁判官を介した高い基準は、恣意的な規制からも守る可能性がある。 しかし、私は両方を同じ穴と読んだ。チェックは、チェックされる側がその仕組みを読み解いて回避しない限り、機能し続けるだけである。

No.0 picture
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。