Исследование: Улучшения данных опережают достижения моделей в эффективности предварительного обучения с 2019 по 2025 год

Сообщение Mars Finance: Dwarkesh Patel и Jerry Han опубликовали исследование 8 сентября 2026 года, в котором анализируют вклад улучшений данных и моделей в прогресс предобучения с 2019 по 2025 год. Исследование проводилось на меньшем масштабе, специально для предобучения, с использованием ежегодно публикуемых рецептов моделей и открытых корпусов данных, а также при объеме вычислений до 1e19 FLOPs. Результаты показали, что при вычислительном бюджете в 1e19 FLOPs улучшения данных обеспечивают прирост вычислительной эффективности в 12,0 раза, а улучшения моделей — в 3,7 раза; прирост от данных примерно в 3,24 раза превышает прирост от моделей. Эффекты улучшений данных и моделей в значительной степени независимы и почти не взаимодействуют; в линейной модели их аддитивный эффект объясняет 88% дисперсии OLMES-счета. Улучшения моделей охватывают эволюцию от GPT-2 до OLMo-2, включая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию. Улучшения данных прошли путь от примерно 9 миллиардов токенов OpenWebText в 2019 году до более крупных и тщательно отфильтрованных корпусов, таких как UltraFineWeb к 2025 году.