Autor: Hugo, Robonaissance
Compilado por Deep潮 TechFlow
Guía de Shenchao: Desde los primeros agentes de juegos Atari hasta los modelos de lenguaje grande con ventanas de contexto de millones, la inteligencia artificial siempre ha enfrentado una contradicción física fundamental al tomar decisiones continuas a través del tiempo: los modelos pueden absorber fácilmente la inmensa cantidad de conocimiento estático humano, pero en entornos de interacción dinámica, no pueden transportar sin pérdida todos los detalles del pasado.
Bajo restricciones rígidas de capacidad de cómputo y ventana de contexto, cómo comprimir el pasado mientras se extraen con precisión los estados clave que determinan el futuro no solo representa un punto de ruptura técnico para resolver la "confusión perceptiva", sino también la lógica subyacente para que los agentes autónomos avancen hacia una memoria verdaderamente persistente.
Paradoja del estado bajo pantalla congelada
Esta es la tercera parte de la serie "Memoria, olvido y yo en la máquina": ¿Cómo actúa la inteligencia a través del tiempo cuando los agentes no pueden llevar consigo todo su pasado?
Intenta pausar cualquier fotograma del clásico juego de Pong.
En la pantalla solo aparecen dos raquetas, una pelota y el marcador actual. En este momento, si se te pidiera decir hacia dónde se dirige la pelota, no podrías hacerlo; incluso si se muestra la misma imagen estática a una máquina, esta tampoco podría determinarlo.
Los académicos Matthew Hausknecht y Peter Stone señalaron directamente en su artículo de 2015 sobre agentes que aprenden a jugar juegos de Atari: "La pantalla de un solo fotograma actual solo revela la posición de la paleta y la pelota, pero no su velocidad."
Ellos explicaron luego por qué esto es crucial: "Conocer la dirección del movimiento de la pelota es el factor clave para determinar la posición óptima de la raqueta."
Esta imagen congelada es precisa; cada detalle en la pantalla está en su lugar correcto. Pero solo con este fotograma individual, aún no es suficiente para jugar este juego.
El sensor capta en este preciso instante solo un "valor de observación (Observation)".
Y el verdadero contexto en el que se basa la siguiente acción del agente es el "estado del sistema (State)".
En el juego Pong, las observaciones y el estado del sistema están desconectados en cada fragmento de fotograma individual. Debido a que la dirección de movimiento de la pelota es un hecho que depende de varios instantes anteriores, ningún instante aislado puede contenerlo por sí solo.
Cuando la entrada inmediata actual no satisface la toma de decisiones, un sistema que funcione bien debe transportar cierta información desde su pasado hacia el presente.
Pero lo que lleva nunca puede ser el pasado completo. Lo que lleva es solo un resumen, y la selección de ese resumen depende completamente de lo que necesite predecir a continuación.
Esta elección determina qué base de información tendrán los momentos posteriores. Cualquier detalle omitido en el resumen nunca podrá ser utilizado por los momentos posteriores para reaccionar.
Compromiso de memoria de cuatro fotogramas de profundidad
El sistema al que respondieron Hausknecht y Stone fue el agente DQN publicado en 2015 por Volodymyr Mnih y otros en la revista Nature.
DQN puede aprender a jugar docenas de juegos de Atari únicamente a través de imágenes de pantalla, y los autores del artículo ya enfrentaron el problema de imágenes congeladas durante el desarrollo inicial.
En la sección de métodos del artículo, escribieron: "Dado que el agente solo puede observar la pantalla actual, esta tarea es de estado parcialmente observable, y muchos estados del simulador son perceptualmente confusos (Perceptually Aliased)."
En otras palabras, simplemente con la imagen actual de la pantalla, no se puede informar al agente sobre su situación completa.
La llamada "confusión perceptual" es una descripción académica precisa de una molestia cotidiana. Dos situaciones completamente diferentes (por ejemplo, una pelota que se acerca a tu raqueta o una pelota que se aleja de tu raqueta) producen imágenes idénticas en una imagen estática.
Un sistema que solo analiza imágenes se ve obligado a considerarlas como la misma situación; si ambas situaciones requieren ejecutar operaciones completamente opuestas, el sistema necesariamente cometerá un error en una de ellas.
Su método de solución es muy directo. La red ya no solo recibe una sola imagen de pantalla, sino que superpone varias de las imágenes más recientes como entrada.
El valor predeterminado es de 4 fotogramas, aunque el algoritmo también es adaptable a valores de 3 o 5 fotogramas.
Al colocar las cuatro imágenes lado a lado, el movimiento de la pelota se vuelve directamente evidente como un cambio de posición. La dirección del movimiento ya no es un concepto que requiera memoria abstracta, sino que se convierte en una propiedad visual directamente observable.
El artículo no denomina a este conjunto de imágenes apiladas como memoria. Esencialmente, es simplemente un canal de entrada que es ligeramente más amplio que un solo instante.
Confusión percibida y límites físicos sólidos
Este ancho de entrada tiene límites físicos extremadamente rígidos, que Hausknecht y Stone describieron con precisión.
Escribieron: como el DQN se entrena utilizando como entrada los cuatro estados más recientes experimentados por el agente, "si un juego requiere que el jugador recuerde eventos más allá de las últimas cuatro pantallas, el DQN no podrá dominar ese juego."
For DQN, the history beyond the fifth-to-last screen is simply not within its input range.
Este mecanismo basado en ventanas deslizantes fijas revela directamente la contradicción fundamental de la inteligencia artificial en el procesamiento de series temporales: sin importar cuán amplia se vuelva la ventana, la información fuera de los límites se borra físicamente.