著者：Dwarkesh Patel
翻訳：深潮 TechFlow
深潮導読：過去6年でAIモデルの能力は飛躍的に向上したが、その進歩はアルゴリズムによるものか、データによるものか？この記事は一連の小規模な対照実験を通じて、直感に反する結論を示す：データの改善による計算効率の向上は、モデルの改善の3倍以上である。AIインフラへの投資や最先端ラボの競争に注目する人々にとって、これは見過ごされてきた駆動力——データエンジニアリング——を明らかにする。
過去数年間にAI分野で見られた急速な進歩のうち、どれほどがデータの改善によるもので、どれほどがモデルの改善によるものかという答えは、最先端の研究ラボの経済モデルと今後の進歩速度に大きな影響を与える。
私たちは、2019年から2025年までの事前学習に焦点を当て、比較的小規模な調査を実施しました。この数年間、毎年新しいオープンソースモデルのセットが公開され、当年の公開されているアルゴリズムの改良（アーキテクチャ、オプティマイザ、初期化、学習率スケジューリング、ハイパーパラメータなど）がまとめられました。同時に、より大規模なスクレイピングおよび新しいキュレーション、抽出、フィルタリング技術によって、毎年新しい公開データコーパスも登場しました。
私たちは、異なる年次レベルのモデルとデータコーパスのさまざまな組み合わせを訓練し、異なる訓練計算規模で実行しました（最大で1e19 FLOPs）。
明らかに、我々はこれらの異なるモデルを、それらが訓練されたデータセットを変更しているため、特定の固定データセットに対する交差エントロピー損失で比較することはできません。したがって、我々は代わりに最終的な能力に基づいてこれらのモデルを評価し、その指標としてOLMES評価（10の比較的単純なベンチマーク、主に選択式質問応答を統合したもの）を用います。残念ながら、事前学習損失ではなく最終能力を評価することは、結果に若干のノイズをもたらします。これは以下の図で確認できますが、我々は複数のランダムシードを用いてより明確な境界を得ようとしています。
2019年から2025年までの間に、1e19 FLOPsの計算予算において、3.24倍以上の計算効率の向上はモデルの改善ではなく、データの改善によるものである（データ：12.0倍、モデル：3.7倍）。
以下のグリッドは、3.16e18 FLOPsの計算能力下で訓練したモデルが、2019年のデータとアーキテクチャのベースラインに対して、最終的なテスト性能でどれだけ向上したかを示しています。
データ改善とモデル改善による利得は、ほぼ独立しており、相互に交互作用しない（つまり、あるモデル改善の利得は特定のトレーニングデータセットに依存せず、その逆も同様である）。線形モデルを用いると、OLMESスコアの変動の88％が、モデル改善とデータ改善の加算的効果によって説明できる。
ディスカッション
背景として、2019年から2025年にかけて、データ側とモデル側でそれぞれどのような変化が起こったかを簡単にまとめます。
モデル側では、最適化アルゴリズム、位置エンコーディング、正規化、活性化関数、初期化などにおいて、GPT-2からOLMo-2への重要な革新を実現しました。
データ側では、2019年にはOpenWebTextから始めました。これはReddit上で十分に高評価されたリンク先のウェブページのみを含み、重複除去とフィルタリングを経て、最終的に約90億トークン（これはほぼGPT-2の訓練データに相当します）となりました。2025年には、UltraFineWebのようなオープンソースのデータコーパスは、規模がはるかに大きくなり（インターネット全体をクロールして）、より複雑なフィルタリング手法を用いるようになりました（たとえば、モデルの性能を実際に向上させるデータを予測する分類器を訓練するなど）。
私たちの結果に対する素朴な解釈は、2019年から2024年（プリトレーニング時代）におけるAIの大部分の進歩は、むしろより優れたデータエンジニアリング（抽出、キュレーションなど）によるものであり、その時期のすべてのモデル作業はそれほど重要ではなかったということである。
しかし、これはモデルの改善価値を評価する誤った方法である可能性があります。モデル改善の主な貢献は、必ずしも計算効率、つまりより少ないFLOPsで同等の性能を達成することではありません。むしろ、それはより大規模な計算リソースを可能にすることにあります。パラメータ数、コンテキスト長、実行時間、クラスタ規模が拡大するにつれて、さまざまな問題が発生しやすくなります（勾配の爆発または消失、メモリや帯域幅の枯渇、訓練が極端に遅くなるなど）。モデル研究の大部分は、こうした拡張の制約を除去または遅延させることに費やされています。最も重要な革新の多くがこのカテゴリに属しており、たとえばMoE、スパースアテンションのバリエーション、安定性に関する革新（正規化の位置、初期化など）、そしてFlashAttentionのようなシステムおよびカーネルレベルの最適化が含まれます。
ここで我々が研究したデータの改善は、より大きなモデルにとってはそれほど重要ではない可能性がある。小規模モデル（我々が訓練したようなモデル）は、容量が限られているため、データ品質の向上から顕著な恩恵を受ける。そのため、何を入力するかを慎重に選ぶ必要がある。一方、大規模モデルは膨大な過剰容量を持っており、たとえその大部分がゴミであっても、可能な限り多くのデータを投入したいと考える傾向がある。なぜなら、確率的勾配降下法の魔力が信号をノイズから分離してくれるからだ。激しいデータフィルタリングを選択すると、数十回のエポックを実行する必要があり、実証結果は、平均品質は低いが規模がより大きいデータセットを使用する場合よりも悪くなることが多い。実際、最先端のモデルがChinchillaの最適基準に対して最大100倍まで過剰にトレーニングされ、強化学習およびデプロイ時の推論計算リソースを最小限に抑えることを考慮すると、激しいデータキュレーションの害はさらに大きくなる。
たとえば、ヨットとコンテナ船の違いがあります。コンテナ船は必ずしも速くないかもしれませんが、数千トンの貨物（数十万兆トークンに相当する事前学習データ）を運べ、荒れた海でも転覆することなく航行できます（数十万のGPUで安定してトレーニングできるという意味です）。
現在、より容量が大きく、より頑丈なコンテナ船が利用できるようになったため、何を積むかを気にする必要はなく、少しでも役に立つものは何でも積むことができます。一方、2019年の小さく脆い帆船では、最も価値の高い貨物だけを慎重に積む必要がありました。
しかし、事前学習の進歩の本質が、この船にさらに多くの荷物を積むことだけであるならば、私たちはもう荷物が尽きかけているのではないだろうか？これはデータの壁に関する問題であり、合成データがこの壁を越えるのにどの程度役立つかという問題でもある。合成データはすでにさまざまな研究室で広く使用されているが、モデルの性能を損なうことなくデータ語料庫を効果的に拡張できるかどうかについては、まだまったく研究されていない。もしこのような利得が限られているならば、事前学習の進歩の主要な駆動力は停滞するだろう。なぜなら、私たちはインターネットコンテンツをさらに生成できないし、固定されたデータセットをどれだけキュレーションできるかも限られているからだ。ただし、現時点でこのような状況が実際に起こるという肯定的な理由は一切ない。しかし、データが事前学習の進歩を推進する上で非常に重要であることを考えると、これは重要な課題であり、さらに研究する価値がある。
ライアン・グリーンブラットは、多くの歴史的な事前学習データコーパスの改善が、異なるデータで訓練されたモデルのアブレーション実験を実行し、モデルのパフォーマンスを観察するなど、自動化された研究者が実証的テストを通じて直接推進できるような進展のように見えると指摘した。したがって、これは私たちの結果と完全に一致する：AI開発が自動化されれば、2019年以降、事前学習の進歩を牽引してきたデータに関する進展は大幅に加速する可能性がある。
一点を明確にしておきます：プレトレーニングの進歩が加速するか鈍化するかを単独で見ることは、AI全体の進歩において最も重要な問題ではありません。なぜなら、過去2年間の多くの成果は強化学習からもたらされたからです。
今後の研究方向
以下は、我们认为非常にクールで重要な将来の研究方向と課題です：
- より大規模でこの実験を実施し、データやモデルの改善が規模にどの程度依存しているかを確認することで、最先端分野への影響をさらに高めることができます。
- 最終的な能力を基準にすると、高品質な新データのプレトレーニングおよびポストトレーニングにおける限界価値はどの程度ですか？
- 合成データの実際の効果を大まかに把握したい。研究に値する具体的な課題の一つは、高品質な少量のデータを合成データ生成で拡張した場合、そのデータを直接複数ラウンド訓練する場合と比べて、どれほど効果が向上するかである。
- データの内包価値を、実験室がデータブローカーや環境プロデューサーなどへの支出と、計算リソースおよび研究者への支出の比率から推定できる。
私たちは、データがAIの進歩にどのような役割を果たしているかを調べたいと思っています。この問題を探究する方法は他にもたくさんあり、そのいくつかは私たちの方法よりもより洗練されており、より情報量が多いかもしれません。また、私たちの実験規模は非常に小さいです。何かを見落としている可能性があると考えており、他の人がこの問題をどのように研究するか、そしてその結果を見たいと思っています！
チャーリー・オニールとの多くの有益な議論に心より感謝します。
付録：方法論
異なるデータコーパス上で、これらのモデルアーキテクチャをゼロから予備学習し、異なる計算リソース予算と複数の独立したシード6を設定しました。計算リソース予算は以下の通りです：1e17、3.16e17、1e18、3.16e18、および1e19 FLOP。計算リソースの算出ルールは、名目計算量 C = 6ND（N は埋め込み以外のパラメータ数、D はデータトークン数）に基づいています。
各算力予算に対して、パラメータ数を調整し、トレーニングするトークン数を変更することで、各トレーニング手法とコーパスの組み合わせにおける算力の最適比率を決定します。この算力の最適点は、コーパス上のホールドアウト損失を用いて特定します。その後、各組み合わせのダウンストリーム性能に対する算力スケーリング曲線を導出し、最終的に算力乗数を抽出します。
すべての実行で共有トークナイザーとコンテキスト長を強制的に使用します：GPT-2 BPE（tiktoken、語彙数50257）およびT=2048、バッチ=262144トークン。
トレーニングの最終的な性能はハイパーパラメータに大きく依存します。すべての可能なハイパーパラメータの組み合わせを網羅することは不可能であり、ハイパーパラメータチューニングは確かに繊細な芸術です！私たちはこれをできる限り制御し、ピーク学習率を最も重要な主要なハイパーパラメータと見なしています。
一部のアルゴリズムバージョンでは、ピーク学習率をモデルサイズ、データ予算、バッチサイズなどの他の関連変数の関数として設定するためのガイドラインを提供しています。これらは最適な学習率を判断するための良い事前情報となります。
まず、5つのアンカー点で学習率をスキャンします：3つの異なるモデルサイズと2つの異なるD/N比率。これらのアンカー点の最適学習率を特定し、最適学習率のパラメータ形式をフィッティングします。
OLMo-2を除くすべてのモデル構成に対して、共通の指数aとb、およびモデル固有のlr₀を適合させます。OLMo-2については、そのモデル構成で指定された最適学習率を使用します。OLMo-2をこのように扱う理由は、Ai2が小規模ステップを構成の一部として公開しており、その中で私たちが研究している規模における最適ハイパーパラメータが定義されているためです。また、3.16e18 FLOPの計算最適点において、私たちの生産学習率が最適またはそれに近いことを確認しました。
主要な技術的成果
チャート内のいくつかの異常を説明します
モデルとデータの両面において、計算効率は時間とともに一般的に向上しており、これは予想通りです。観察された一部の外れ値：
- NeoXは1e19ではGPT-2よりも性能が劣る（ただし、1e17から3.16e18の範囲ではより優れている）。これはOLMES評価におけるノイズに起因する可能性がある。また、FineWeb-Eduコーパスにおける保留予測損失において、NeoXはGPT-2を上回っていることも確認された。
- Piles のパフォーマンスは OpenWebText よりもはるかに劣るように見える。これは驚くべきことではない。Piles の主な改善点はデータコーパスの多様性にあり、フィルタリングではないからだ。Piles は、PubMed や arXiv の論文、GitHub のコード、法的意見、特許、議会記録を含む、丁寧に選ばれた 22 のソースの混合から構成されている。これらのトークンの多くについて、OLMES（英語ネット散文マルチプルチョイス）へのドメイン間移行は小さいため、計算効率が低下する。我々は、Piles の方が規模が大きいため、より大規模なスケールでは（実際には非常に小さい）OpenWebText を最終的に上回ると予想している。
- また、NeoXとPileの算力乗数は外挿によって得られたものであり、これにより追加の潜在的誤差が生じています。
算力乗数の計算方法と誤差線
- 算力拡張曲線上の各点は、複数の独立したシードトレーニングランから導出されています。そこにある誤差線は、これらのシードにおけるOLMES評価の標準偏差です。
- 特定な計算能力レベルにおける、ある与えられた参照性能レベルを参考モデルまたはデータコーパスを基に考慮してください。
- その後、候補モデルまたはコーパスの計算能力拡張曲線上で、その基準性能レベルに初めて達する最も左側の点を見つけることで、計算能力乗数を計算します。基準に必要な計算能力と候補に必要な計算能力の比が、候補の計算能力乗数となります。
- 算力乗数の誤差線は、推定プロセス全体のパラメータに対するブートストラップ法によって得られ、1標準偏差区間を表します。
- 私たちは、モデルのレシピ計算力乗数の実際の不確実性が、誤差線が示す以上であることを強調したいと考えています。これは、実施したハイパーパラメータチューニングの範囲が限定的であり、最終的な性能や保留損失がピーク学習率やバッチサイズなどの正確な選択に比較的敏感である可能性があるためです。
同様に重要なのは、私たちのアブレーション実験が、計算効率の向上の全範囲を完全に捉えることができない理由が多数存在することです。実際、2019年から2025年にかけて、モデル側の年間同比計算効率の向上は1.24倍[1.19, 1.29]、データ側は1.51倍[1.45, 1.57]であることを確認しました。併せて測定した場合、年間同比計算効率の向上は1.57倍[1.49, 1.65]となりました。これは、Anson Hoらによる年間3倍の平均推定値に比べてはるかに低く、その理由は以下の通りです：
- 多くの利点は規模に依存するか、長いコンテキストで特に重要であるが、私たちの運用規模はそれらの利点を十分に発揮するには小さすぎる。例えば、OLMo-2の層ノルムとQKノルム、NeoXにおける並列アテンションとMLPブロック。
- 推論効率の最適化（例：LLaMA-3 の GQA などの KV キャッシュ最適化）は、我们的研究では計算力の乗数として現れません。また、トークナイザーの改善も研究対象にしていません。
- 私たちが得た算力乗数は、毎年選択するモデル構成やデータコーパスに非常に敏感です。私たちは代表的なモデル構成やデータコーパスを選択しましたが、これらが毎年最適であることを網羅的に証明したものではありません。
- 我々は、特定のパープレキシティ指標に対する計算力倍率ではなく、OLMESベンチマーク（10種類の比較的単純なタスクタイプを組み合わせたもの）に対する計算力倍率に注目しています。他のベンチマーク（たとえばコーディングや問題解決専用ベンチマーク）を見ると、数値は大きく異なり、それらのベンチマークはまったく異なるデータエンジニアリング手法を評価する可能性があります。
また、我々は新規のデータソースからの高品質データの収集、専門家による生成データ、合成データ生成手法など、他のデータ側の改善については調査していません。我々が研究したほとんどのコーパスは、同じCommon Crawlのキュレーションされた（サブ）セットであり、利用可能なデータセットを拡張したものではありません。これは明らかに限られた在庫を消費するものであり、このレバレッジがどれだけ進展をもたらせるかは制限されています。
収益はモデルのレシピとデータセットの独立性に依存する
モデルの構成とデータセットの利得の独立性を確認するため、以下の調査を実施しました。3.16e18 FLOPsにおけるOLMESスコアのグリッドを分析し、OLMESスコア = 平均 + モデル効果 + データ効果というモデルで線形回帰を実施したところ、R二乗値は0.88となりました。これは、OLMESスコアの88%の分散がモデルとデータの加法的改善効果によって説明でき、残り約12%の分散は相互作用項や高次項、および評価ノイズによるものであることを示しています。これは、複雑なモデルとデータの相互作用（つまり、特定のモデル改善が特定のデータエンジニアリングに依存する、またはその逆）が比較的小さいことを示唆しています。
Anson Ho らは、ソフトウェア効率の改善（事前学習において）を年間3倍と推定（95%信頼区間：1.5倍～64倍）。Hoはこのブログで言及しているように、「ほとんどのソフトウェアの進歩は実際にはデータ品質の改善によるものであり」「規模に関連する少数のアルゴリズム変更の拡張によるもの」である。
私たちは、算力を計算するために C = 6ND という名目規約を使用します。
2019年のモデルのレシピはGPT-2であり、2025年のモデルのレシピはOLMo-2である。2019年のデータセットはOpenWebTextであり、2025年のデータセットはUltraFineWebである。
我々が実装したGPT3はPile上でいくつかの訓練不安定性の問題（勾配スパイク）に直面しました。
これらには、オプティマイザの改善、ウォームアップと減衰スケジューリング、学習済み絶対位置のRoPEへの置換、RMSNormとSwiGLUゲート付きMLP、Normの再配置、QK-norm、Z-loss正則化、およびより洗練された初期化が含まれます。
算力拡張グラフについては、各設定で少なくとも3つのシードを使用しました。3.16e18の予算下でのモデルのレシピとデータセットの組み合わせによる7x7グリッドについては、各設定で1つのシードのみを使用しました。
1.57倍の対前年倍率は、モデル側の1.24倍の改善とデータ側の1.51倍の改善の積ではなく、2019年モデルおよびコーパスから2025年モデルおよびコーパスへの統合的改善を用いて計算されています。