Метод обучения TST от Nous Research вызвал споры из-за сходства с предыдущей работой

Согласно новости ME, 14 мая (UTC+8), по данным мониторинга Beating, Nous Research представила новую схему предварительного обучения крупных моделей — обучение с наложением токенов (TST). Эта схема сокращает время предварительного обучения в 2–3 раза при том же объеме вычислений за счет упаковки и сжатия смежных токенов на ранних этапах обучения. TST включает два этапа. На первых 20–40% обучения модель больше не обрабатывает токены по одному, а «упаковывает» смежные токены, вычисляя их среднее значение для входа, а на выходе предсказывает, какие токены будут содержаться в следующей упаковке (без учета внутреннего порядка). Затем модель возвращается к обычному предсказанию следующего токена. Поскольку архитектура не изменялась, итоговая модель полностью идентична обычной модели при выводе. Метод был успешно протестирован на моделях MoE до 10 миллиардов параметров. Суть этого подхода — «обмен данных на вычислительные ресурсы»: ускоренное потребление корпуса данных позволяет сократить время вычислений. Однако, если в будущем закончатся качественные текстовые данные, эта особенность ускоренного потребления может стать недостатком. Кроме того, через несколько часов после публикации статьи читатели отметили, что механизм TST крайне похож на метод, описанный в более ранней работе 2024 года «Beyond Next Token Prediction». Авторы признали на Hugging Face, что это «несчастный конвергентный результат», и пообещали обновить статью, добавив соответствующие ссылки. (Источник: BlockBeats)