La performance de GPT-6 Astra, qui a obtenu un score proche de 100 % au test ARC-AGI-3, a suscité un vif intérêt. Ce modèle parvient à abstraire le monde réel en symboles logiques et en codes causaux en générant des « modèles de mondes symboliques » efficaces, créant ainsi de manière autonome un système algébrique de symboles DSL pour enregistrer les règles de l’environnement dans des jeux graphiques inconnus, puis construisant un « bac à sable virtuel » pour simuler et anticiper ses actions. Toutefois, derrière ce score élevé se cache un coût informatique exorbitant : 360 dollars par question, soit un total de 18 000 dollars pour l’ensemble du test. Greg Kamradt, président de la fondation ARC Prize, souligne que ce score élevé repose sur un cadre externe Harness et ne constitue pas une véritable avancée vers une AGI, mais démontre simplement que l’IA devient plus intelligente.Auteur et source de l'article : Leifengwang
Chaque question coûte 360 $, GPT-6 a-t-il vraiment réussi l'AGI ?
Le modèle le plus puissant d'OpenAI, GPT-6 Astra, est enfin dévoilé, avec des avancées remarquables dans la manipulation d'ordinateurs, la recherche scientifique et la défense sécuritaire. Parmi ces nombreux résultats impressionnants, celui qui suscite le plus de discussion publique est sa performance presque à 100 % sur le test ARC-AGI-3.
Qu'est-ce que ARC-AGI-3 ? Il s'agit du classement mondial reconnu pour évaluer l'« intelligence » de l'IA, que vous pouvez considérer comme l'examen d'admission au club Mensa de l'IA.
Ce test contient uniquement des questions basées sur des motifs graphiques en constante évolution, impossibles à préparer par la répétition. L'IA doit explorer l'environnement, inférer les objectifs et identifier les motifs grâce à sa réactivité et à ses capacités de raisonnement en temps réel. Ce type d'évaluation, plus avancé, permet de déterminer si l'IA n'est qu'un outil ou possède véritablement de l'intelligence.
Et GPT-6 Astra a réussi à surpasser ce test ; il faut rappeler que le modèle précédent, GPT-5.6 Sol, n'avait obtenu qu'un score de 38,3 %, ce qui représente un saut considérable. Cette intelligence dépasse même celle des humains : dans 96 % des niveaux, son efficacité opérationnelle est supérieure à celle des humains, avec en moyenne 51,7 % moins d'actions.
Si une IA possédait réellement la capacité d'établir des règles logiques et de résoudre des problèmes dans un environnement complètement inconnu, nous pourrions imaginer qu'à l'avenir, elle pourrait prendre les bonnes décisions dans des conditions de conduite autonome entièrement nouvelles, ou déduire rapidement la structure moléculaire d'un médicament efficace lors d'une émergence virale entièrement inconnue.
Pour comprendre pourquoi GPT-6 Astra est si intelligent, les organisateurs de l'ARC Prize ont réanalysé ses enregistrements internes et ont découvert qu'il génère des « modèles de symboles » efficaces lorsqu'il joue à des jeux.
Le modèle de monde symbolique est une dérivée avancée du « modèle de monde ». Alors que le modèle de monde prédit l'avenir en images, comme un artiste, le modèle de monde symbolique agit comme un mathématicien, abstractant le monde réel en symboles logiques et en codes causaux.
Cette technologie est reconnue comme une étape incontournable pour que l'IA atteigne un raisonnement avancé.
Qu'est-ce que le modèle du monde des symboles ?
Par le passé, une des principales raisons pour lesquelles de nombreux grands modèles n'obtenaient pas de bons résultats aux tests de référence ARC-AGI était qu'ils étaient habitués à la méthode « d'essais et erreurs aléatoires ». L'IA découpait l'écran du jeu en pixels, cliquait au hasard, et, si ce n'était pas bon, changeait de direction, en comptant sur la chance pour réussir.
Dans ce mode, même avec certaines percées de points, l'IA ne comprend ni ne maîtrise réellement les règles du jeu.
Le modèle de monde symbolique parvient à maîtriser l'ensemble précisément parce qu'il comprend pleinement les lois physiques et les relations causales de son environnement, et qu'il prend des décisions grâce à des calculs précis.
Lors de tests réels, lorsqu'il entre dans un jeu graphique inconnu, GPT-6 Astra commence à prendre de nombreuses notes en utilisant un DSL qu'il a créé, un système de symboles algébriques dédié. Par exemple, il enregistre avec précision les règles implicites du jeu, une série d'instructions à exécuter, et même cartographie exactement la trajectoire de chaque pixel dans un système de coordonnées.
Ce mode d'enregistrement algébrique conduit à un état du monde unique et déterminé ; par rapport aux ambiguïtés générées par les interactions en langage naturel dans les modèles précédents, cette représentation symbolique entraînera une progression épique de la précision.
Ensuite, il écrit mentalement une logique de code Python : « Si j'appuie sur A, le graphique tourne de 90 degrés vers la gauche ».
Ensuite, il crée un « sandbox virtuel » dans son esprit, simulant dans sa tête le plan suivant. Une fois qu’il a vérifié la boucle logique et l’exactitude, il n’effectue alors le premier pas dans le jeu réel. C’est pourquoi son efficacité opérationnelle est bien supérieure à celle des humains.
Pour explorer les limites des capacités de GPT-6 Astra, la plateforme de tests de red teaming PRO‑LONG l'a placée dans un sandbox de code, autorisant l'IA à écrire et exécuter librement du code personnalisé.
En conséquence, GPT-6 Astra a commencé à créer des outils « sur mesure » pour chaque jeu. Par exemple, dans un jeu de labyrinthe complexe avec des gardes qui patrouillent, GPT-6 Astra a développé un système de navigation, ajouté des règles de combat, simulé les itinéraires de patrouille des gardes, puis a utilisé cette chaîne d'outils personnalisée pour prédire et valider parfaitement les résultats.
Au début, cette capacité de déduction symbolique et de création autonome d'outils dépendait entièrement d'un cadre externe de type Harness. Les extensions aidaient le modèle à traduire les images, enregistrer les états et valider les résultats, mais les inconvénients étaient très marqués : le transfert répété de données entre le modèle et les extensions entraînait une latence élevée ; les capacités techniques des extensions étaient complètement déconnectées de l'entraînement des poids du grand modèle ; en raison de la forte dépendance à l'environnement de calcul cloud et aux scripts externes, ces capacités avancées étaient difficiles à déployer sur des matériels périphériques locaux.
GPT-6 Astra intègre désormais de nombreuses capacités de Harness directement dans ses propres poids de modèle. Le chercheur de premier plan Gary Marcus, qui a toujours défendu les modèles du monde symbolique, ne peut s'empêcher de saluer GPT-6 Astra comme une victoire majeure pour cette approche.
Au cours des deux dernières années, un grand nombre de résultats fondamentaux ont émergé dans ce domaine, tant dans le milieu académique que dans l'industrie, de Harvard et du MIT à Google DeepMind, tous parient sur les « modèles de mondes symboliques ». Avant les innombrables embranchements menant à l'IGA, l'industrie parvient à un consensus technique fondamental.
Avec un tel score, l'AGI est-elle assurée ?
L'auteur de la question arrose directement l'enthousiasme
Il est intéressant de noter que, tandis que le réseau entier s'enthousiasmait pour ce score de classement, Greg Kamradt, président de la fondation ARC Prize, est descendu sur le terrain pour refroidir l'enthousiasme en répondant à ceux qui partageaient la déclaration de Greg Brockman, PDG d'OpenAI : « L'AGI est arrivée ».
Il est la figure centrale parmi les concepteurs de questions ; il est le plus à même de décider comment concevoir les références et interpréter les scores. Du point de vue de l'évaluation, il estime que bien que les scores soient réels, ils sont encore à des lieues de l'AGI.
Jusqu'à présent, il a vu de nombreux équipes atteindre plus de 90 % sur ARC-AGI-3 grâce à Agent Harness, comme PRO-LONG avec sa mémoire surpuissante, Tycho spécialisé dans les déductions approfondies, et Prime Agent capable d'évoluer son environnement de programmation.
Ces produits à haut score partagent une recette technique commune : mémoire sans perte, analyse programmée, test d'hypothèses explicites, état persistant et calcul interne à faible coût.
La mémoire sans perte gère la mémoire, l'analyse procédurale gère la logique, les tests d'hypothèses explicites gèrent l'inférence, l'état persistant gère le contexte des interactions multiround, les calculs internes à faible coût fournissent une puissance de calcul interne économique, permettant à l'IA de faire des essais et des erreurs intensifs dans un environnement virtuel avant de produire la bonne réponse. Ensemble, ils forment un Harness invincible qui compense les lacunes du modèle lui-même.
GPT-6 Astra atteint un score proche de 100 %, en utilisant également un ensemble sophistiqué de Harness, grâce à un « bloc d’adaptateur fournisseur » spécialement conçu qui utilise des conversations continues et une compression du contexte pour renforcer sa chaîne logique. Chaque partie consomme 360 dollars de puissance de calcul coûteuse. Si l’ensemble du test est effectué, la facture totale de puissance de calcul atteint un montant impressionnant de 18 000 dollars (environ 135 000 yuans chinois) !
Un humain peut résoudre une énigme graphique en quelques minutes seulement ; en convertissant la puissance métabolique du cerveau humain en 200 W, le coût énergétique est inférieur à half a cent ; même en incluant la rémunération réelle versée aux participants, cela revient à 12,78 dollars par partie, tandis que l’IA coûte 360 dollars. Un tel résultat obtenu grâce à la « force de l’argent » peut-il vraiment devenir une AGI accessible à tous ?
Bien sûr, GPT-6 Astra commence à intégrer progressivement les capacités de Harness ; si ce développement se poursuit, la capacité de calcul potentielle interne au modèle deviendra de plus en plus puissante. Toutefois, comme son processus d'inférence devient opaque, les développeurs ne savent pas si l'IA a vraiment compris ou si elle a simplement trouvé des moyens plus efficaces de tricher.
Revenons à la question précédente : GPT-6 Astra est-il considéré comme une IAG ?
Pour cette question, Greg Kamradt a apporté, en conclusion de son long article, une réponse pleine de profondeur philosophique. Pourquoi les humains sont-ils considérés comme « une intelligence générale » ? Parce que les humains peuvent s'adapter à n'importe quel monde inconnu, même si un bébé antique était transporté dans le monde moderne, il apprendrait tout de même à prendre le métro et à utiliser un téléphone portable. Cette intelligence se perpétue depuis des millénaires et pousse constamment les progrès technologiques. Mais les évaluations que l'industrie technologique actuelle exige à grands frais ne sont qu'un « test de puzzle graphique » organisé pour l'IA.
Cela ne prouve que l'IA devient plus intelligente, mais n'est pas une preuve de l'arrivée de l'AGI.