研究：2019年から2025年にかけて、事前学習効率におけるデータ改善がモデルの進歩を上回る

火星財經の報道によると、Dwarkesh Patel と Jerry Han は2026年9月8日に研究を発表し、2019年から2025年までの事前学習の進展において、データとモデルの改善がそれぞれどの程度貢献したかを分析した。この研究は、小規模で事前学習に特化して実施され、毎年公開されたモデルの構成と公開データコーパスに対応し、最大1e19 FLOPsの訓練計算規模で組み合わせて訓練を行った。その結果、1e19 FLOPsの計算予算下では、データ改善による計算効率の向上は12.0倍、モデル改善による向上は3.7倍であり、データ側の効果はモデル側の約3.24倍であった。データとモデル改善の効果はほぼ独立しており、ほとんど相互作用が見られず、線形モデルでは両者の加算効果がOLMESスコアの88%の分散を説明できる。モデル側では、GPT-2からOLMo-2への進化において、最適化アルゴリズム、位置エンコーディング、正規化、活性化関数、初期化手法などが含まれる。データ側では、2019年の約90億トークンのOpenWebTextから、2025年にはより大規模でフィルタリングが精緻化されたUltraFineWebなどのコーパスへと進化した。