OpenAI va bientôt lancer le nouveau modèle « Astra », qui suscite une grande attention et des controverses dans le milieu de la recherche en IA — il pourrait représenter le saut le plus important depuis GPT-4 en termes de performance, mais la nouvelle technique d'inférence qu'il utilise soulève des inquiétudes quant à une baisse de la capacité de surveillance de la sécurité de l'IA.Auteur de l’article, source : The Information
Selon un rapport du média technologique The Information du 2 septembre, Astra intègre une technologie innovante visant à dépasser les limites de la capacité des modèles à « réfléchir » à des problèmes complexes. Certains chercheurs estiment que les améliorations d'Astra en matière de codage et d'utilisation informatique pourraient être comparables à l'augmentation de performance apportée par OpenAI avec le lancement de GPT-4 en 2023, dépassant largement les performances observées lors du lancement de GPT-5 l'été dernier. Cela constitue un signal positif pour l'ensemble de l'industrie, qui repose sur l'amélioration de la productivité par l'IA pour justifier les investissements massifs dans la construction de centres de données.
Cependant, cette percée technologique soulève des risques incontournables. La nouvelle technologie permet au modèle d'accomplir un raisonnement approfondi sans produire intégralement la « chaîne de pensée », ce qui signifie que les chercheurs pourraient ne plus pouvoir surveiller aussi efficacement que précédemment le processus de raisonnement du modèle, affaiblissant ainsi les mécanismes de sécurité existants. Actuellement, OpenAI prend des mesures pour garantir que la chaîne de pensée d'Astra reste visible, mais l'industrie reste divisée quant à l'évolution à long terme de ce compromis.
Performance breakthrough: The new inference technique is closely related to Astra's core technological advancements and concepts such as "recurrent depth" and "loop transformers".
Selon The Information, cette technologie traite les problèmes en les transmettant répétitivement à travers les différentes « couches » des opérations mathématiques du modèle, générant ainsi le mot suivant dans la réponse, ce qui permet au modèle de démontrer une capacité de raisonnement bien supérieure à sa taille réelle, sans augmenter significativement le nombre de paramètres — un effet équivalent à celui d’un modèle beaucoup plus volumineux.
Certains chercheurs estiment que, grâce à ses capacités améliorées en codage et en utilisation informatique, les gains de performance d'Astra pourraient être comparables à la progression spectaculaire observée lors de la sortie de GPT-4 en 2023, bien au-delà de la réaction relativement calme du marché lors du lancement de GPT-5 l'été dernier.
Cette avancée revêt une importance significative pour l'ensemble de la chaîne de valeur de l'IA. La construction à grande échelle des centres de données mondiaux repose actuellement sur l'hypothèse qu'une amélioration continue des capacités de l'IA stimulera la productivité, se traduisant par des bénéfices commerciaux plus élevés. Si les performances d'Astra répondent aux attentes, elles apporteront un soutien solide à ce raisonnement d'investissement.
Il est à noter que cette technologie n'est pas un concept nouveau. Jürgen Schmidhuber, pionnier de la recherche en IA, a souligné sur la plateforme sociale X que l'idée fondamentale de la « profondeur récurrente » était déjà présente dans son article de 2015 intitulé « On Learning to Think » (arXiv:1511.09249).
Il a déclaré que le réseau de contrôle C dans cet article est essentiellement un ingénieur de prompts, qui apprend à interroger des modèles neuronaux indépendants pour effectuer un raisonnement abstrait, les prompts et réponses générés étant des séquences de vecteurs auto-générées internes, sans nécessiter une présentation en langage naturel.
Risque de sécurité : le mécanisme de surveillance de la chaîne de raisonnement fait face à des défis ; les nouvelles technologies, tout en améliorant les performances, posent un risque potentiel pour les cadres existants de surveillance de la sécurité de l'IA.
Selon les rapports, les modèles d'IA principaux affichent généralement leur processus de raisonnement sous forme textuelle, appelé « chaîne de pensée » (chain of thought), lorsqu'ils traitent des problèmes complexes. Ce mécanisme améliore non seulement l'explicabilité des modèles, mais constitue également un outil essentiel pour les chercheurs afin de surveiller le comportement des modèles et prévenir les opérations anormales.
Selon The Information, la surveillance des chaînes de pensée est l'une des principales solutions proposées par OpenAI après l'attaque de Hugging Face en juillet de cette année pour empêcher la répétition de tels incidents de sécurité.
Cependant, la nouvelle technique d'inférence adoptée par Astra peut ne pas afficher intégralement les étapes d'inférence lorsqu'un modèle « réfléchit » en profondeur, mais effectue les calculs de manière « silencieuse » à l'intérieur du modèle. Cela signifie que plus le modèle repose sur cette nouvelle technologie, moins son processus d'inférence est transparent pour les observateurs externes.
À ce sujet, OpenAI prend actuellement des mesures pour équilibrer cela. L'entreprise guide le modèle pour réduire le nombre de boucles au niveau du calcul, afin de garantir que la chaîne de réflexion d'Astra reste encore partiellement visible — moins de boucles signifient moins d'espace pour une « réflexion silencieuse » du modèle.
Les principaux laboratoires suivent déjà cette tendance ; la solution à long terme pour évaluer son impact reste à trouver, et ses répercussions pourraient dépasser de loin OpenAI. Selon The Information, cette nouvelle technique d'inférence est devenue un sujet de discussion majeur au sein des principaux laboratoires d'IA, et il ne faut pas sous-estimer la probabilité que des institutions telles qu'Anthropic et Google adoptent une approche similaire.
Plusieurs chercheurs ont souligné que le suivi des chaînes de pensée ne sera jamais la solution ultime pour surveiller le comportement de l'IA. Avec l'évolution continue des capacités des modèles, la caractéristique consistant à produire le processus de pensée sous forme textuelle n'est dans une large mesure qu'un sous-produit des méthodes d'entraînement actuelles.
À mesure que les développeurs de modèles explorent de nouvelles orientations d'optimisation et des conceptions d'architecture, la tendance des modèles à générer spontanément des chaînes de raisonnement pourrait progressivement diminuer, obligeant les chercheurs à développer de nouveaux moyens de surveillance.
Les rapports soulignent que la question centrale actuelle est de savoir si les principaux développeurs d'IA abandonneront volontairement les mesures de sécurité existantes sous la pression d'une concurrence accrue en matière de performance, afin d'atteindre des capacités d'inférence plus puissantes. La réponse à cette question déterminera en grande partie la trajectoire de la gouvernance de la sécurité de l'IA à la prochaine étape.