Une chose qui m’a frappé chez ExpRL, c’est qu’elle révèle une limite de la manière dont nous concevons actuellement la progression de l’IA. La plupart des benchmarks ne mesurent que si le modèle arrive à la bonne réponse. Ils mesurent rarement combien d’idées utiles ont été explorées et rejetées en cours de route. L’innovation humaine provient souvent d’échecs, pas de tentatives parfaites. Un scientifique peut tester des centaines d’hypothèses erronées avant de trouver la bonne. Pourtant, l’RL traditionnelle considère chaque chemin échoué comme totalement sans valeur. ExpRL suggère qu’il pourrait y avoir des informations précieuses cachées dans ces échecs. Cette idée semble importante au-delà des benchmarks mathématiques. À mesure que les agents IA deviennent plus performants, les gagnants ne seront peut-être pas les modèles qui trouvent les réponses le plus rapidement, mais ceux qui apprennent le plus de leurs erreurs. C’est aussi pourquoi la vérification est essentielle. Sans moyens fiables d’évaluer le raisonnement et les sorties intermédiaires, nous ne pouvons pas distinguer une exploration productive d’une simple hallucination. L’avenir de l’IA dépendra peut-être moins de la génération de réponses et davantage de la capacité à comprendre quelles erreurs valent la peine d’être apprises. @ritualnet