OpenAI ajuste les données d'évaluation de GPT-6 Astra, suscitant des préoccupations concernant la transparence

Décryptage Beating AI : depuis le lancement de GPT-6 Astra par OpenAI le 3 septembre, plusieurs données de référence d'évaluation de modèles ont été continuellement ajustées. Certaines modifications ont amélioré les performances d'Astra, tandis que d'autres ont fait chuter les résultats de modèles concurrents, suscitant des interrogations sur le « doping des classements » et la transparence des évaluations. Ainsi, le taux d'hallucinations d'Astra a été réduit de 4,2 % à 2 %, tandis que celui de GPT-5.6 Sol est passé de 12,2 % à 9,4 %, avant de revenir respectivement à 4,2 % et 12,2 %. En évaluation mathématique, le score de Fable 5.1 d'Anthropic est tombé de 87,8 % à 78 %, puis est remonté à 83 % ; celui de GPT-5.6 Sol est passé de 83 % à 80,5 %, avant de retrouver 83 %. De plus, le score d'Astra sur l'évaluation ARC-AGI-3 est passé de 98,6 % dans la version brouillon avant le lancement à 99,99 % sur la page finale, et son score en programmation a été légèrement relevé de 57,7 % à 57,9 %. OpenAI affirme que les résultats d'évaluation peuvent être influencés par la version du modèle, la configuration des outils, le niveau d'inférence et les exécutions de test, et que ces ajustements visent à refléter plus précisément les performances optimales du modèle. Toutefois, des chercheurs de l'Université de Stanford estiment que la réexécution fréquente des évaluations pourrait correspondre à ce qu'on appelle le « Benchmaxxing » : l'ajustement des conditions de test pour maximiser les scores de référence. Les professionnels soulignent qu'avec l'intensification de la concurrence entre modèles d'IA, les données d'évaluation sont devenues un outil essentiel pour mesurer les capacités des modèles et conquérir le marché. La transparence et la reproductibilité des tests de référence suscitent désormais une attention croissante.