Un agent IA vient de battre environ 3 992 équipes humaines à leur propre jeu. AIRA₂, un agent de recherche autonome développé par des chercheurs du laboratoire FAIR de Meta, de l’University College London et de l’Université d’Oxford, a obtenu la 8e place sur 4 000 équipes dans une compétition Kaggle axée sur le raisonnement IA, remportant au passage une médaille d’or.
Ce que fait réellement AIRA
La ligne d'agents AIRA (dont le nom signifie AI Research Agent) est conçue pour résoudre de manière autonome des problèmes complexes d'ingénierie de l'apprentissage automatique. Plutôt que de simplement exécuter un seul modèle et d'espérer le meilleur, AIRA utilise une stratégie d'exécution asynchrone multi-GPU sur 8 GPU Nvidia H200.
Le système utilise ce que l'équipe de recherche appelle un protocole d'évaluation cachée et cohérente, une méthode pour empêcher l'agent de tricher sur ses propres scores de test. L'agent utilise également des opérateurs dynamiques de type ReAct, ce qui signifie qu'il peut raisonner étape par étape, ajuster sa méthode en temps réel et exécuter du code simultanément sur plusieurs processeurs.
Sur MLE-bench-30, un benchmark structuré issu de 30 compétitions Kaggle réelles, AIRA₂ a atteint un rang percentuel moyen de 81,5 % après 24 heures de calcul. En lui accordant 72 heures, ce chiffre est passé à 83,1 %. Le meilleur baseline précédent d'autres agents se situait à 72,7 %, ce qui fait de l'amélioration d'AIRA₂ une avance d'environ 9 points de pourcentage sur la concurrence.
Pourquoi cela importe au-delà du simple orgueil
AIRA₂ a dépassé les performances de pointe humaines sur 6 tâches sur 20 dans l'évaluation AIRS-Bench. Elle a également remporté des médailles d'or sur des tâches individuelles de Kaggle où les versions précédentes de l'agent n'avaient obtenu aucune récompense.
Le cadre s'appuie sur ce que l'équipe appelle l'approche AIRA-dojo, conçue spécifiquement pour remédier aux limites des agents précédents. Ces limites incluaient un débit computationnel restreint, un surapprentissage lors de l'évaluation, des écarts de généralisation entre différents types de problèmes, ainsi que des contraintes opérationnelles statiques qui empêchaient l'agent d'adapter sa stratégie en cours de tâche.
Le paysage compétitif de la recherche en intelligence artificielle
La collaboration entre Meta FAIR, UCL et Oxford est remarquable par son poids institutionnel. L'équipe de recherche a diffusé ses résultats via des prépublications arXiv, le canal standard pour la recherche en intelligence artificielle de pointe.