Дослідження: Покращення даних перевищують досягнення моделей у ефективності попереднього навчання з 2019 по 2025 рік

Марс Фінанс повідомляє, що Dwarkesh Patel та Jerry Han 8 вересня 2026 року опублікували дослідження, у якому розбирають внесок покращень даних та моделей у прогресі навчання з попереднім навчанням з 2019 по 2025 рік. Дослідження проводилося на меншому масштабі, спеціально для попереднього навчання, зіставленням щорічних публічних рецептів моделей та публічних корпусів даних, а також комбінуванням навчання на обчислювальному рівні до 1e19 FLOPs. Результати показали, що при обчислювальному бюджеті 1e19 FLOPs покращення даних забезпечило збільшення ефективності обчислень у 12,0 рази, а покращення моделей — у 3,7 рази; внесок з боку даних приблизно у 3,24 рази перевищує внесок з боку моделей. Ефекти покращень даних та моделей є в основному незалежними та майже не взаємодіють; у лінійній моделі адитивний ефект обох факторів пояснює 88% дисперсії OLMES-рахунку. З боку моделей відбулася еволюція від GPT-2 до OLMo-2, що охоплює оптимізатори, позиційне кодування, нормалізацію, функції активації та ініціалізацію. З боку даних — від приблизно 9 мільярдів токенів OpenWebText у 2019 році до більших та детальніше відфільтрованих корпусів, таких як UltraFineWeb у 2025 році.