著者：Hugo、Robonaissance
翻訳：深潮 TechFlow
深潮導読：初期のAtariゲームエージェントから数百万のコンテキストウィンドウを備える大規模言語モデルまで、人工知能は時間にわたる連続的な意思決定において、常に根本的な物理的矛盾に直面している。モデルは人間が持つ膨大な静的知識を容易に収容できるが、動的インタラクション環境では、過去のすべての詳細を損失なく持ち運ぶことができない。
限られた計算リソースとコンテキストウィンドウというハードな制約のもとで、過去を圧縮しながら未来を決定する核心的な状態を正確に抽出することは、「知覚の混同」を解決する技術的突破口であるだけでなく、現在の自律エージェントが真に持続可能な記憶へと進化するための基盤的なロジックである。
定格画面下的状态悖论
これは『機械における記憶、忘却、そして自己』シリーズ第3回：エージェントが過去のすべてを携帯できない場合、知性はどのように時間を超えて行動を展開するのか。
どのフレームでもクラシックなPongピンボールゲームを一時停止してみてください。
画面にはラケットが二本、ボール、そして現在のスコアのみが表示されている。この状況で、ボールがどの方向に飛んでいるかを言い当てるのは不可能であり、同じ静止画像を機械に提示しても、機械同样に判断できない。
学者Matthew HausknechtとPeter Stoneは、2015年のアタリゲームを学習するエージェントに関する論文で明確に指摘している。「現在の単一フレームのスクリーンはラケットとボールの位置を示すのみで、ボールの速度を示すことはできない。」
彼らは続けて、これがなぜ重要であるかを説明しました。「ボールの移動方向を知ることは、ラケットの最適な位置を決定するための鍵となる要素です。」
このフレームは正確であり、画面上のあらゆる詳細が正しい位置にあります。しかし、この単一のフレームだけでは、このゲームを進めるには不十分です。
センサーが現在の瞬間に捉えたのは、単なる「観測値（Observation）」にすぎない。
一方、エージェントの次の行動に依存する真のグローバル状態は「システム状態（State）」です。
Pongゲームにおいて、観測値とシステム状態は各フレームのスライスごとに分離されている。ボールの移動方向は過去数瞬間の事実に基づくものであり、孤立した瞬間ではそれを単独で含むことはできない。
現在の即時入力が意思決定を満たせない場合、優れたシステムは過去から現在へ情報を引き継がなければならない。
しかし、それが担うのは決して完全な過去ではない。それが担うのはあくまで要約であり、その要約の選択と排除は、次に何を予測する必要があるかによって完全に決まる。
この選択が、その後の時刻がどのような情報基盤を持つのかを決定します。要約で見落とされたあらゆる詳細は、その後の時刻が永遠にそれに基づいて反応できなくなるのです。
四フレーム深度のメモリトレードオフ
HausknechtとStoneが当時対応したシステムは、2015年にDeepMindのVolodymyr MnihらがNature誌で発表したDQNエージェントである。
DQNは、スクリーンの画像のみから数十種類のAtariゲームを学習できるが、論文の著者たちは開発初期からフレーズストップの問題に直面していた。
彼らは論文の方法論部分で、「エージェントは現在の画面のみを観測できるため、このタスクは部分的観測状態であり、多くのシミュレータ状態が知覚的に同一（Perceptually Aliased）である。」と記している。
言い換えれば、現在の画面の画像だけでは、エージェントに完全な状況を伝えることは不可能です。
「知覚の混同」とは、日常的な悩みに対する正確な学術的説明である。二つのまったく異なる状況（たとえば、ボールがラケットに向かって飛んでくる場合と、ボールがラケットから離れていく場合）は、静止画像ではまったく同じ画像を生み出す。
画像のみを扱うシステムは、それらを同じ状況と見なさざるを得ず、もし这两种の状況が完全に逆の操作を必要とするならば、システムは必ずどちらかの状況で誤りを犯す。
彼らの対策は非常に直接的です。ネットワークは単一のスクリーン画像ではなく、最近の複数のフレームを重ねて入力として使用します。
デフォルト設定では4フレームを採用していますが、このアルゴリズムは3フレームまたは5フレームに対しても適応可能です。
四つのフレームを並べて表示すると、ボールの運動はそのまま位置の変化として明確に現れる。運動の方向は、抽象的に記憶する必要のある概念ではなく、直接視覚的に確認できる属性となった。
論文はこの積み重ねられた画像を「記憶」とは呼んでいない。それは本質的に、単一の瞬間よりもやや広い入力チャネルに過ぎない。
認識の混同と物理的な硬い境界
この入力幅には極めて堅固な物理的境界があり、Hausknecht と Stone はその境界を正確に記述した。
彼らは次のように書いている：DQNは、エージェントが最近経験した4つの状態で構成される入力を使って訓練されるため、「あるゲームがプレイヤーに過去4画面より前の出来事を記憶させる必要がある場合、DQNはそのゲームを習得できない。」
DQNにとって、5枚目の画面以前の履歴は、その入力範囲には存在しない。
この固定スライディングウィンドウに基づくメカニズムは、時系列処理における機械の知能の核心的な矛盾を明確に示している：ウィンドウをどれほど広げても、その境界外の情報は物理的に削除されてしまう。