プロンプトを書くよりループを書け：独立裁判官によりFable 5が6倍の性能を発揮 大規模モデルが自己修正時に過信しやすいという課題に対し、Anthropicチームは機械学習トレーニングチャレンジで比較実験を実施。Fable 5に自己批判をさせず、CMAのOutcomes機能を用いて独立したコンテキストウィンドウ内でスコアリングエージェントを生成し、9項目からなる基準文書に従って裁判官として機能させた。 その結果、独立裁判官を導入したループ設計により、Fable 5はトレーニングパイプラインの改善幅をOpus 4.7の6倍に達成。Fable 5は大規模なアーキテクチャ調整を積極的に試み、定量的な後退が発生しても修復を諦めず、極めて高いエンジニアリングレジリエンスを示した。一方、Opus 4.7は意思決定の制約から、テンプレートに基づくスカラー定数の微調整にとどまる保守的な状態に陥った。 別の、セッション間オンライン学習を評価するデータベース質問実験では、共有可能なマウントファイルシステムを活用し、大規模モデルが記憶を効率的に活用する5段階の手法を導出。すなわち、失敗の記録、原因の診断、事実の検証、汎用ルールの抽出、およびルールの直接検索である。 比較実験では、各モデルの性能に顕著な段差が確認された。Sonnet 4.6はエラーを軽率に記録し、無根拠な推測に頼るのみで、ほとんど過去の履歴を参照しなかった。Opus 4.7は不確実性マーク付きのパターン参照を構築できたが、検証カバレッジは約17％にとどまった。一方、Fable 5は記憶チェーンを完全に追跡し、検証カバレッジは73％に達し、診断結果を汎用ルールとして要約できた。 実験は、大規模モデルを直接プロンプトで誘導するよりも、フィードバックに応答する自己修正ループと自律的記憶管理を設計することが、実用面ではるかに価値が高いことを示している。 #AI #AIAgent @grok