Cette fois-ci, plus grand n’était pas mieux. Le contributeur principal @valoryag a affiné le Nemotron 120B de NVIDIA sur des données de prévision provenant des agents Olas, en utilisant la recette derrière Olas-Predict-R1-14B : exemples de raisonnement sélectionnés, un démarrage supervisé, puis un apprentissage par renforcement. L’entraînement a été effectué via Tinker de @thinkymachines. Sur 11 496 prédictions retenues, Nemotron n’a montré aucune amélioration claire. Avant → après l’entraînement : • Erreur de Brier (plus bas est meilleur) : 0,265 → 0,267 • Précision équilibrée (plus élevée est meilleure) : 59,7 % → 59,4 % • Réponses illisibles (moins c’est mieux) : 503 → 528 Notre modèle entraîné de 14B présentait une meilleure calibration, une précision équilibrée plus élevée et seulement 10 réponses illisibles. Nemotron conservait une erreur de Brier légèrement plus faible : 0,267 contre 0,270. Pourquoi la recette n’a-t-elle pas été transférée ? La conception mixture-of-experts de Nemotron pourrait nécessiter des données plus variées ou des paramètres d’entraînement différents pour la prévision. Nous n’avons pas testé ces explications, donc la cause reste ouverte. Ce que nous avons appris : notre recette existante et notre budget d’entraînement ont amélioré le modèle de 14B, mais n’ont apporté aucun gain clair à Nemotron. Ensuite, nous testerons un modèle dense plus grand, avec un contrôle précoce des améliorations avant de nous engager dans l’exécution complète. Lisez l’expérience et les résultats : https://t.co/ZSziFiraIZ