Écrire des prompts n’est pas aussi efficace que concevoir des boucles : faire fonctionner un juge indépendant pour obtenir une performance six fois supérieure de Fable 5. Face à la tendance des grands modèles à développer une confiance aveugle lors de leur auto-correction, l’équipe d’Anthropic a mené des tests comparatifs dans le cadre d’un défi d’entraînement en apprentissage automatique. L’expérience a consisté à empêcher Fable 5 d’effectuer une auto-critique, et à utiliser la fonction Outcomes de CMA pour générer, dans une fenêtre de contexte indépendante, un agent d’évaluation qui agit comme juge selon un document de référence comprenant neuf indicateurs. Les résultats montrent que l’introduction d’une boucle avec un juge indépendant a permis à Fable 5 d’améliorer sa chaîne d’entraînement à hauteur de six fois plus que Opus 4.7. Fable 5 tend non seulement à expérimenter des ajustements majeurs de l’architecture, mais persiste également à corriger les régressions quantitatives, démontrant une résilience ingénieuse remarquable. En revanche, Opus 4.7, limité par ses mécanismes décisionnels, se contente d’ajuster de manière conservatrice des constantes scalaires selon des modèles prédéfinis. Dans une autre expérience portant sur l’apprentissage en ligne inter-sessions dans un système de questions-réponses sur base de données, l’équipe a utilisé un système de fichiers montés partageables pour établir une méthode en cinq étapes permettant aux grands modèles d’utiliser efficacement leur mémoire : enregistrer les échecs, diagnostiquer les causes, vérifier les faits, extraire des règles générales et interroger directement les règles. Les tests comparatifs ont révélé une forte disparité entre les modèles. Sonnet 4.6 se contente de noter superficiellement les erreurs et de faire des hypothèses aveugles, consultant presque jamais l’historique. Opus 4.7 parvient à établir des références de motifs avec des marques d’incertitude, mais son taux de couverture de vérification n’est que d’environ 17 %. Fable 5, en revanche, parvient à parcourir intégralement la chaîne de mémoire, avec un taux de couverture de vérification atteignant 73 %, et résume les diagnostics en règles générales. Ces expériences démontrent qu’il est bien plus pratique et efficace de concevoir des boucles d’auto-correction réactives et une gestion autonome de la mémoire que d’essayer de guider directement les grands modèles par des prompts. #AI #AIAgent @grok