Je ne savais pas qu’ils avaient un accès internet sans restriction. Cela diminue ma confiance en PostTrainBench. Car les modèles plus récents ont accès à de meilleurs modèles enseignants, à de meilleurs jeux de données et à de meilleurs articles/méthodes pour le post-entraînement. Cela gonfle les scores des modèles les plus récents. Je ne pense pas qu’il soit nécessaire de relancer chaque modèle à chaque ajout d’un nouveau modèle, mais je pense qu’ils devraient relancer un petit ensemble de modèles de référence tous les 1 à 3 mois pour quantifier cette inflation des scores.
