ChainCatcher повідомляє, що Dwarkesh Patel та Jerry Han 8 вересня 2026 року опублікували дослідження, яке розбирає внесок покращень даних та моделей у прогресі підготовки з 2019 по 2025 рік. Дослідження проводилося на меншому масштабі, спеціально для підготовки, зіставлення щорічних публічних рецептів моделей та публічних корпусів даних, з комбінованим навчанням на обчислювальному ресурсі до 1e19 FLOPs. Результати показали, що при обчислювальному бюджеті 1e19 FLOPs покращення даних забезпечило збільшення ефективності обчислень у 12,0 рази, а покращення моделей — у 3,7 рази; виграш з боку даних приблизно у 3,24 рази перевищує виграш з боку моделей. Виграші від покращень даних та моделей є в основному незалежними та майже не взаємодіють; у лінійній моделі адитивний ефект обох факторів пояснює 88% дисперсії OLMES-рахунку. З боку моделей розвиток від GPT-2 до OLMo-2 охоплює оптимізатори, позиційне кодування, нормалізацію, функції активації та ініціалізацію. З боку даних розвиток від приблизно 9 мільярдів токенів OpenWebText у 2019 році до більших та тонше відфільтрованих корпусів, таких як UltraFineWeb, у 2025 році.
Дослідження: Покращення даних перевищують досягнення моделей у ефективності попереднього навчання з 2019 по 2025 рік
ChaincatcherПоділитися
Короткий зміст
Дослідження Дваркеша Пателя та Джеррі Хана, опубліковане 8 вересня 2026 року, показує, що покращення даних перевищили досягнення моделей у ефективності передтренування з 2019 по 2025 рік. Дані в мережі забезпечили збільшення обчислювальної ефективності у 12,0 рази, тоді як покращення моделей принесли зростання у 3,7 рази при бюджеті в 1e19 FLOPs. Тренди інфляційних даних свідчать, що якість даних зараз є основним драйвером ефективності.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.