El método de entrenamiento TST de Nous Research genera controversia por su similitud con trabajos anteriores

Noticias de ME, 14 de mayo (UTC+8): según el monitoreo de Beating, Nous Research ha lanzado un nuevo enfoque para el preentrenamiento de modelos grandes llamado Token Stacking Training (TST). Este método reduce el tiempo de preentrenamiento entre 2 y 3 veces con la misma cantidad de cálculo, comprimiendo y agrupando tokens adyacentes durante las primeras etapas del entrenamiento. TST consta de dos fases: durante el 20% al 40% inicial del entrenamiento, el modelo ya no procesa tokens individualmente, sino que agrupa tokens adyacentes, calcula su promedio y lo ingresa como entrada, prediciendo en la salida qué tokens estarán incluidos en el siguiente paquete (sin considerar su orden interno). Luego, el modelo vuelve a la predicción convencional del siguiente token. Al no modificar la arquitectura subyacente, los modelos generados son idénticos a los modelos convencionales durante la inferencia. Este método ha sido validado en modelos MoE de hasta 10 mil millones de parámetros. La esencia de este enfoque es "intercambiar datos por potencia de cómputo", acelerando el consumo de corpus para reducir el tiempo de cálculo. Sin embargo, si en el futuro se agotan los textos de alta calidad, esta característica de consumo acelerado podría convertirse en una desventaja. Además, pocas horas después del lanzamiento del artículo, algunos lectores señalaron que el mecanismo de TST es extremadamente similar al trabajo publicado en 2024 titulado "Beyond Next Token Prediction". El equipo de autores reconoció posteriormente en Hugging Face que se trató de una "convergencia desafortunada en la investigación" y se comprometió a actualizar el artículo para incluir las referencias correspondientes. (Fuente: BlockBeats)