La méthode de formation TST de Nous Research suscite une controverse en raison de sa similitude avec un travail antérieur

Selon les nouvelles de ME, le 14 mai (UTC+8), selon les données surveillées par Beating, Nous Research a publié une nouvelle méthode de pré-entraînement de grands modèles appelée Token Stacking Training (TST). Cette méthode permet de réduire le temps de pré-entraînement de 2 à 3 fois avec une même quantité de calcul, en regroupant et en compressant les tokens adjacents au début de l'entraînement. TST se déroule en deux phases. Pendant les 20 % à 40 % initiaux de l'entraînement, le modèle ne lit plus les tokens un par un, mais regroupe les tokens adjacents en les moyennant pour les entrer, puis prédit quels tokens seront contenus dans le prochain groupe (sans tenir compte de leur ordre interne). Ensuite, le modèle revient à la prédiction classique du token suivant. Étant donné que l'architecture sous-jacente n'est pas modifiée, les modèles produits sont identiques aux modèles classiques lors de l'inférence. Cette méthode a été validée sur des modèles MoE jusqu'à 10 milliards de paramètres. Cette approche repose fondamentalement sur l'échange « données contre puissance de calcul », en accélérant la consommation des données pour réduire le temps de calcul. Toutefois, si les textes de haute qualité viennent à manquer à l'avenir, cette caractéristique d'accélération de la consommation des données pourrait devenir un inconvénient. Par ailleurs, quelques heures après la publication de l'article, un lecteur a souligné que le mécanisme de TST est extrêmement similaire à celui d'une œuvre antérieure publiée en 2024 intitulée « Beyond Next Token Prediction ». L'équipe des auteurs a ensuite reconnu sur Hugging Face qu'il s'agissait d'une « convergence malheureuse » (convergent research) et a promis de mettre à jour l'article pour inclure les références appropriées. (Source : BlockBeats)