Método de treinamento TST da Nous Research gera controvérsia por semelhança com trabalho anterior

Notícia da ME, 14 de maio (UTC+8): De acordo com monitoramento da Beating, a Nous Research lançou um novo método de pré-treinamento de grandes modelos chamado Token Stacking Training (TST). Esse método reduz o tempo de pré-treinamento em 2 a 3 vezes, com o mesmo volume de cálculo, comprimindo e empacotando tokens adjacentes no início do treinamento. O TST consiste em duas fases. Nos primeiros 20% a 40% do treinamento, o modelo não lê mais os tokens individualmente, mas agrupa os tokens adjacentes, calcula sua média e os insere como um pacote, prevendo no output quais tokens estarão contidos no próximo pacote (sem considerar a ordem interna). Em seguida, o modelo retorna à previsão convencional do próximo token. Como a arquitetura subjacente não foi modificada, o modelo resultante é idêntico aos modelos convencionais durante a inferência. O método já foi validado em modelos MoE com até 10 bilhões de parâmetros. Essa abordagem é essencialmente "trocar dados por poder computacional", acelerando o consumo de corpora para reduzir o tempo de cálculo. No entanto, se futuramente textos de alta qualidade se esgotarem, essa característica de consumo acelerado de dados pode tornar-se uma desvantagem. Além disso, algumas horas após a publicação do artigo, leitores observaram que o mecanismo do TST é extremamente semelhante ao de um trabalho anterior de 2024 intitulado "Beyond Next Token Prediction". A equipe dos autores reconheceu posteriormente no Hugging Face que se tratou de uma "convergência infeliz de pesquisas" e prometeu atualizar o artigo com as devidas citações. (Fonte: BlockBeats)