Исследование: Улучшения данных опережают достижения моделей в эффективности предварительного обучения с 2019 по 2025 год

ChainCatcher сообщает, что Dwarkesh Patel и Jerry Han 8 сентября 2026 года опубликовали исследование, в котором анализируется вклад улучшений данных и моделей в прогресс предобучения с 2019 по 2025 год. Исследование проводилось на меньшем масштабе, специально для предобучения, с использованием ежегодно публикуемых рецептов моделей и открытых корпусов данных, а также с объемом вычислений до 1e19 FLOPs. Результаты показали, что при вычислительном бюджете в 1e19 FLOPs улучшения данных обеспечивают прирост эффективности в 12,0 раза, а улучшения моделей — в 3,7 раза; прирост за счет данных примерно в 3,24 раза превышает прирост за счет моделей. Эффекты улучшений данных и моделей в значительной степени независимы и почти не взаимодействуют; в линейной модели их аддитивный эффект объясняет 88% дисперсии OLMES-счета. Улучшения моделей охватывают эволюцию от GPT-2 до OLMo-2, включая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию. Улучшения данных прошли путь от OpenWebText объемом около 9 миллиардов токенов в 2019 году до более крупных и тщательно отфильтрованных корпусов, таких как UltraFineWeb к 2025 году.