Por que a IA pode lembrar todo o conhecimento humano, mas não "ontem"

Autor: Hugo, Robonaissance

Tradução: Deep潮 TechFlow

Leitura profunda da Shenchao: Desde os primeiros agentes de jogos Atari até modelos de linguagem com janelas de contexto de milhões, a inteligência artificial enfrenta sempre uma contradição física fundamental ao tomar decisões contínuas ao longo do tempo: os modelos conseguem facilmente incorporar a imensa quantidade de conhecimento estático humano, mas, em ambientes de interação dinâmica, não conseguem transportar sem perda todos os detalhes do passado.

Sob restrições rígidas de capacidade computacional e janela de contexto, como comprimir o passado enquanto se extrai com precisão o estado central que determina o futuro não é apenas uma ruptura técnica para resolver a "confusão perceptiva", mas também a lógica fundamental para que agentes autônomos alcancem memória verdadeiramente duradoura.

Este é o terceiro episódio da série "Memória, Esquecimento e Eu na Máquina": como a inteligência age ao longo do tempo quando os agentes não podem carregar consigo todo o passado.

Tente congelar qualquer quadro do clássico jogo de Pong.

Na tela, há apenas duas raquetes, uma bola e a pontuação atual. Neste momento, se você fosse solicitado a dizer para onde a bola está se movendo, seria impossível, mesmo que a mesma imagem estática fosse apresentada a uma máquina, ela também não conseguiria determinar.

Os pesquisadores Matthew Hausknecht e Peter Stone afirmaram diretamente em seu artigo de 2015 sobre agentes que aprendem a jogar jogos Atari: “A tela de um único quadro atualmente só revela a posição da raquete e da bola, mas não a velocidade da bola.”

Eles explicaram em seguida por que isso é crucial: "Conhecer a direção do movimento da bola é o elemento-chave para determinar a melhor posição da raquete."

Esta imagem congelada é precisa; cada detalhe na tela está exatamente no seu lugar. Mas, apenas com este quadro isolado, ainda não é suficiente para jogar este jogo.

O que o sensor captura neste exato momento é apenas um "valor de observação (Observation)".

E o estado global real, do qual a próxima ação do agente depende, é o “estado do sistema (State)”.

No jogo Pong, as observações e o estado do sistema são desconexos em cada fatia de quadro único. Como a direção de movimento da bola é um fato sobre alguns instantes anteriores, nenhum instante isolado pode contê-la sozinho.

Quando a entrada imediata à frente não atende às decisões, um sistema bem-sucedido deve transportar certas informações do passado para o presente.

Mas o que ele carrega nunca pode ser o passado completo. O que ele carrega é apenas um resumo, e a seleção desse resumo depende inteiramente do que ele precisa prever a seguir.

Essa escolha determina qual base de informações estará disponível nos momentos subsequentes. Qualquer detalhe omitido no resumo nunca poderá ser usado pelos momentos subsequentes para reagir.

O sistema ao qual Hausknecht e Stone responderam na época era o agente DQN, desenvolvido por Volodymyr Mnih e outros da DeepMind, publicado na revista Nature em 2015.

O DQN consegue aprender a jogar dezenas de jogos Atari apenas por meio das imagens da tela, e os autores do artigo já enfrentaram o problema de telas congeladas no início do desenvolvimento.

Na seção de métodos do artigo, eles escreveram: “Como o agente só pode observar a tela atual, esta tarefa é considerada de estado parcialmente observável, com muitos estados do simulador sendo perceptualmente confusos (Perceptually Aliased).”

Em outras palavras, apenas a imagem atual da tela não consegue informar ao agente a situação completa.

O chamado "confusão perceptual" é uma descrição acadêmica precisa de um incômodo cotidiano. Dois cenários completamente diferentes (por exemplo, a bola se movendo em direção à sua raquete ou a bola se afastando da sua raquete) produzem imagens idênticas em uma imagem estática.

Um sistema que apenas analisa imagens é forçado a considerá-las como a mesma situação; se essas duas situações exigirem operações completamente opostas, o sistema inevitavelmente cometerá um erro em uma delas.

Seu método de correção é muito direto. A rede não recebe mais apenas uma imagem de tela, mas sim empilha as últimas algumas quadros como entrada.

O valor padrão é definido como 4 quadros, embora o algoritmo também seja adaptável a valores de 3 ou 5 quadros.

Ao colocar as quatro cenas lado a lado, o movimento da bola se tornou diretamente visível como uma mudança de posição. A direção do movimento deixou de ser um conceito que exigia memória abstrata e tornou-se uma propriedade visual diretamente observável.

O artigo não chama esse conjunto de imagens empilhadas de memória. Ele é, essencialmente, apenas um canal de entrada ligeiramente mais amplo do que um único momento.

Este comprimento de entrada possui limites físicos extremamente rígidos, que Hausknecht e Stone descreveram com precisão.

Eles escreveram: como o DQN é treinado usando como entrada os quatro estados mais recentes experimentados pelo agente, “se um jogo exigir que o jogador se lembre de eventos mais antigos do que as quatro telas anteriores, o DQN não será capaz de dominar esse jogo.”

Para o DQN, o histórico após a quinta tela anterior não existe dentro de seu intervalo de entrada.

Esse mecanismo baseado em janela deslizante fixa revela diretamente a contradição central da inteligência artificial no processamento de séries temporais: independentemente de quão ampla a janela seja, as informações fora dos limites são fisicamente apagadas.