Pourquoi l'IA peut se souvenir de tout le savoir humain mais pas « hier »

Auteur : Hugo, Robonaissance

Traduction : Deep潮 TechFlow

Lecture approfondie de Shenchao : Des premiers agents de jeux Atari aux grands modèles linguistiques dotés de fenêtres de contexte de plusieurs millions de tokens, l'intelligence artificielle fait face, lorsqu'elle effectue des décisions continues dans le temps, à une contradiction physique fondamentale : le modèle peut facilement intégrer la vaste quantité de connaissances statiques humaines existantes, mais dans un environnement d'interaction dynamique, il ne peut pas transporter intégralement et sans perte tous les détails du passé.

Dans le cadre de contraintes rigoureuses de puissance de calcul et de fenêtre de contexte, savoir compresser le passé tout en extrayant avec précision les états fondamentaux déterminant l'avenir constitue non seulement une percée technique pour résoudre la « confusion perceptuelle », mais aussi la logique fondamentale permettant aux agents autonomes d'atteindre une mémoire véritablement durable.

Ceci est le troisième épisode de la série « Mémoire, oubli et soi dans la machine » : comment l'intelligence parvient-elle à agir à travers le temps lorsque les agents ne peuvent pas emporter tout leur passé avec eux.

Essayez de figer n'importe quelle image du jeu classique de Pong.

L'écran ne montre que deux raquettes, une balle et le score actuel. À ce moment-là, si on vous demandait de dire dans quelle direction la balle se déplace, vous ne pourriez pas le déterminer, et même si l'on montrait la même image statique à une machine, celle-ci ne pourrait pas non plus le déduire.

Les chercheurs Matthew Hausknecht et Peter Stone ont clairement indiqué dans leur article de 2015 sur les agents apprenant à jouer à des jeux Atari : « L'écran d'une seule image révèle uniquement la position de la raquette et de la balle, mais pas sa vitesse. »

Ils ont ensuite expliqué pourquoi c'est crucial : « Connaître la direction du mouvement de la balle est un élément clé pour déterminer la meilleure position de la raquette. »

Cette image figée est précise, chaque détail à l'écran se trouve à sa place exacte. Mais cette seule image ne suffit pas à jouer ce jeu.

Le capteur capture à cet instant précis une simple « observation ».

Et l'état global réel sur lequel repose la prochaine action de l'agent est l« état du système (State) ».

Dans le jeu Pong, les observations et l'état du système sont déconnectés à chaque tranche de frame unique. En effet, la direction de déplacement de la balle repose sur des faits issus de plusieurs instants passés, et aucun instant isolé ne peut la contenir seul.

Lorsque l'entrée immédiate devant soi ne suffit pas à la prise de décision, un système performant doit transporter certaines informations de son passé vers le présent.

Mais ce qu'il contient ne peut jamais être le passé complet. Il ne contient qu'un résumé, et les choix de ce résumé dépendent entièrement de ce qu'il doit prédire ensuite.

Ce compromis détermine la base d'informations disponible aux moments suivants. Tout détail omis par le résumé ne pourra jamais être utilisé par les moments suivants pour réagir.

Le système auquel Hausknecht et Stone ont répondu à l'époque était précisément l'agent DQN publié en 2015 par Volodymyr Mnih et ses collègues de DeepMind dans la revue Nature.

DQN peut apprendre à jouer à des dizaines de jeux Atari uniquement à partir d'images d'écran, et les auteurs de l'article ont rencontré dès les débuts de leur développement le problème des images figées.

Dans la section méthode de leur article, ils écrivent : « Étant donné que l'agent ne peut observer que l'écran actuel, cette tâche relève d'un état partiellement observable, de nombreux états de simulateur sont perceptuellement aliasés. »

Autrement dit, il est impossible de déterminer la situation complète de l'agent uniquement à partir de l'image actuelle de l'écran.

La « confusion perceptuelle » est une description académique précise d’un problème courant. Deux situations totalement différentes (par exemple, une balle qui vole vers votre raquette ou une balle qui s’éloigne de votre raquette) produisent des images identiques dans une image statique.

Un système qui ne voit que des images est forcé de les considérer comme une seule et même situation ; si ces deux situations nécessitent l'exécution d'opérations complètement opposées, le système commettra nécessairement une erreur dans l'une d'elles.

Leur méthode de correction est très directe. Le réseau ne reçoit plus uniquement une seule image d'écran, mais superpose les dernières trames comme entrée.

Par défaut, la valeur est fixée à 4 images, bien que l'algorithme soit également adaptable aux valeurs de 3 ou 5 images.

En plaçant les quatre images côte à côte, le mouvement de la balle apparaît directement comme un changement de position. La direction du mouvement n'est plus un concept à mémoriser abstraitement, mais devient une propriété visuelle directement observable.

L'article n'appelle pas cet ensemble d'images superposées une mémoire. Il s'agit essentiellement d'un canal d'entrée légèrement plus large qu'un seul instant.

Cette largeur d'entrée possède des limites physiques extrêmement rigides, que Hausknecht et Stone ont décrites avec précision.

Ils ont écrit : comme le DQN est formé en utilisant comme entrée les quatre états les plus récents vécus par l'agent, « si un jeu exige que le joueur se souvienne d'événements plus anciens que les quatre dernières images, le DQN ne pourra pas maîtriser ce jeu. »

Pour le DQN, l'historique des cinq écrans précédents n'existe tout simplement pas dans son domaine d'entrée.

Ce mécanisme basé sur une fenêtre glissante fixe révèle directement la contradiction fondamentale de l'intelligence artificielle dans le traitement des séries temporelles : quel que soit l'élargissement de la fenêtre, les informations situées au-delà des limites sont physiquement effacées.