Ang mga pagpapabuti sa data ay mas epektibo kaysa sa mga pag-unlad sa modelo sa pagkakaroon ng epekto sa pagpapahintulot ng AI

May-akda: Dwarkesh Patel

Isinalin: Deep潮 TechFlow

DeepChain Overview: Sa loob ng nakaraang anim na taon, ang kakayahan ng AI models ay lumago nang malaki, ngunit saan talaga nagmula ang pag-unlad—sa algorithm o sa data? Ginagawa ng artikulong ito ng isang set ng maliit na kontroladong eksperimento ang isang hindi inaasahang konklusyon: ang pagpapabuti ng data ay nagdudulot ng pagtaas sa efficiency ng computing power na higit sa tatlong beses kaysa sa pagpapabuti ng model. Para sa mga nakikinig sa investment sa AI infrastructure at sa kompetisyon sa mga advanced lab, ipinapakita nito ang isang napapalabas na driverr: data engineering.

Sa mga nakalipas na taon, gaano karami sa mabilis na pag-unlad na aming nakita sa AI ay galing sa pagpapabuti ng data, at gaano karami galing sa pagpapabuti ng model? Ang sagot sa tanong na ito ay may malaking epekto sa ekonomikong modelo ng mga lab na nasa harap at sa bilis ng mga hinaharap na pag-unlad.

Isinagawa namin ang isang relatibong maliit na pag-aaral sa problema, na nakatuon sa pre-training mula 2019 hanggang 2025. Sa mga taong iyon, mayroong isang bagong open-source na modelo na ipinapahayag bawat taon, na naglalaman ng mga aksyon sa algoritmo na kilala sa publiko noong taon (hal. mga pagpapabuti sa arkitektura, optimizer, pag-initialize, pag-schedule ng learning rate, hyperparameters, atbp.). Samantala, bawat taon ay lumalabas din ang mga bagong public dataset (na nagmumula sa mas malalaking web scraping at mga bagong teknik sa pagpili, pagkuha, at pag-filter).

Inayos namin ang mga modelo na ito na kumakatawan sa iba’t ibang antas ng taon, kasama ang iba’t ibang kombinasyon ng mga dataset, at sinubukan sa iba’t ibang sukat ng computing power para sa pagtuturo (hanggang sa 1e19 FLOPs).

Napakalinaw na hindi natin maaaring ihambing ang mga iba’t ibang modelo batay sa kanilang cross-entropy loss sa isang fixed dataset, dahil binabago natin ang mga dataset kung saan sila tinuturuan. Kaya, ginagawa namin ang pagtataya sa mga modelo batay sa kanilang huling kakayahan, na sinusukat gamit ang OLMES assessment (na naglalagom ng 10 relatibong simpleng benchmark, karamihan ay multiple-choice QA). Sa pagkakasala, ang pagtataya sa huling kakayahan kaysa sa pre-training loss ay nagdadagdag ng ilang ingay sa ating mga resulta, na makikita mo sa sumusunod na graph, ngunit sinubukan naming makakuha ng mas malinaw na mga hangganan sa pamamagitan ng maraming random seeds.

Nakita namin na mula 2019 hanggang 2025, sa isang budget ng 1e19 FLOPs, ang 3.24-fold na pagtaas sa efficiency ng compute ay galing sa pagpapabuti ng data, hindi sa pagpapabuti ng modelo (ang data ay 12.0-fold, habang ang modelo ay 3.7-fold).

Ang grid na ito ay nagpapakita ng pagtaas sa huling pagsubok na kakayahan ng aming modelo kumpara sa baseline ng data at arkitektura noong 2019, sa ilalim ng 3.16e18 FLOPs na computing power.

Nakita namin na ang mga benepisyo mula sa pagpapabuti ng data at model ay karamihan ay magkakalayon at walang interaksyon sa isa't isa (ibig sabihin, ang benepisyo mula sa isang pagpapabuti sa model ay hindi nakadepende sa isang partikular na set ng training data, at vice versa). Gamit ang linyar na model, 88% ng variance sa OLMES score ay maaaring ipaliwanag ng additive na epekto ng pagpapabuti sa model at data.

Bilang konteksto, ipaliwanag natin nang maikli ang mga pagbabago sa data side at model side mula 2019 hanggang 2025.

Sa panig ng modelo, mula sa GPT-2 ay umabot tayo sa OLMo-2, kasama ang mga pangunahing inobasyon sa optimizer, position encoding, normalization, activation function, at initialization.

Sa panig ng data, simula namin ito noong 2019 mula sa OpenWebText, na naglalaman lamang ng mga naka-link na pahina mula sa Reddit na may sapat na pagpapala, at pagkatapos ay inalis ang mga duplikado at pinag-filter, natitirang halos 9 bilyon na token (ito ay kahalintulad sa data para sa pagtuturo ng GPT-2). Hanggang 2025, ang mga open-source na corpus tulad ng UltraFineWeb ay hindi lamang mas malaki ang sukat (sa pamamagitan ng pag-scan sa buong internet), kundi gumagamit din ng mas kumplikadong paraan ng pagpapalit (halimbawa, pagtuturo ng isang classifier upang makapaghula kung aling data ang tunay na magpapabuti sa performance ng model).

Isang simpleng pag-unawa sa aming resulta ay: Ang karamihan sa pag-unlad ng AI mula 2019 hanggang 2024 (panahon ng pre-training) ay talagang mas mabuting data engineering (pagkuha, pagpili, atbp.), habang ang lahat ng trabaho sa model noong panahong iyon ay hindi gaanong mahalaga.

Ngunit maaaring mali ang paraan ng pagtingin sa halaga ng pagpapabuti ng modelo. Ang pangunahing kontribusyon ng pagpapabuti ng modelo ay hindi kinakailangang ang efficiency ng computing power, o ang pagkamit ng parehong performance gamit ang mas kaunting FLOPs. Sa halip, ito ay nagiging sanhi na mas malaki ang availability ng computing power. Habang tumataas ang bilang ng parameter, habang lumalawak ang haba ng konteksto, habang lumalawak ang panahon ng pagpapatakbo, at habang lumalaki ang laki ng cluster, maraming mga problema ang madaling magsira (gradient explosion o disappearance, pagkawala ng memorya at bandwidth, pagiging sobrang mabagal ng training). Ang malaking bahagi ng pananaliksik sa modelo ay ang pag-alis o pagpapalayo sa mga limitasyon sa paglalawak. Maraming sa pinakamahalagang inobasyon ay kabilang dito, tulad ng MoE, mga variant ng sparse attention, mga inobasyon sa stabiliti (posisyon ng normalization, initialization, atbp.), at mga system at kernel-level optimization tulad ng FlashAttention.

Ang mga pagpapabuti sa data na aming sinuri dito ay maaaring hindi gaanong mahalaga para sa mas malalaking modelo. Ang mga maliit na modelo (tulad ng aming itinuturo) ay nakikinabang nang malaki mula sa pagpapabuti sa kalidad ng data dahil limitado ang kanilang kapasidad, kaya kailangan mong maging mabuting desisyon kung ano ang ilalagay sa loob. Samantala, ang mga malalaking modelo ay may malaking sobrang kapasidad, kaya maaari mong isama ang kahit anong data habang marami, kahit na ang karamihan ay basura—ang kamangha-manghang kapangyarihan ng stochastic gradient descent ay maghihiwalay ng signal mula sa ingay. Kung pumili ka ng agresibong pag-filter, kailangan mong gawin ang mga ilang dekada ng epoch, at ang empirikal na resulta ay madalas mas masama kaysa sa paggamit ng mas malaking dataset na may mas mababang average na kalidad. Sa katotohanan, kung isasama pa ang fakto na ang mga pinakamoderno na modelo ay pinapalabis na tinuturuan hanggang 100 beses higit sa Chinchilla optimal standard upang minimahal ang computing power para sa reinforcement learning at deployment, mas malaki pa ang panganib ng agresibong data curation.

Isang paghahambing ay ang pagkakaiba ng isang barko ng layag at isang container ship: hindi kailangang mas mabilis ang container ship, ngunit ito ay kayang magdala ng libu-libong tonelada ng kargamento (katumbas ng mga hundreds of trillions na token ng pre-training data), at hindi ito lalabas sa kanyang landas sa mga malalaking alon (katumbas ng matatag na pag-train sa mga libu-libo ng GPU).

Ngayon, mayroon na tayong mas malaki at mas matibay na container ships, hindi na kailangang mag-isip kung anong kargado ang i-load; maaari nating i-load ang lahat ng bagay, kahit na minimatigas lamang ang pagkakaroon nito. Ngunit para sa mga maliit at mahinang barko noong 2019, kailangan mong maging napakasigurado at tanging ang pinakamahalagang kargado ang maaaring dala.

Ngunit kung ang本质上 ng pag-unlad sa pre-training ay nagiging pagdudugtong ng higit pang mga kargamento sa barko na ito, kaya ba nating malalaman na tayo ay malapit nang walan ng kargamento? Ito ay isyu tungkol sa “data wall,” at tungkol sa kung gaano kahalaga ang synthetic data sa paglilipas sa pader na ito. Ang synthetic data ay malawak nang ginagamit sa iba’t ibang laboratorio, ngunit wala pa tayong seryosong pag-aaral kung ito ay maaaring epektibong palawakin ang corpus ng data nang hindi nasasaktan ang performance ng model. Kung ang ganitong uri ng benepisyo ay limitado, magiging huminto ang pangunahing driverr ng pag-unlad sa pre-training, dahil hindi natin maaaring lumikha ng higit pang internet content, at ang antas ng pagpili sa isang fixed dataset ay limitado rin. Dapat ipaalala na wala pa tayong positibong dahilan na naniniwala na talagang ganito ang mangyayari. Ngunit dahil sa pagkakatuklas na ang data ay napakahalaga sa pagpapabilis ng pag-unlad sa pre-training, tila ito ay isang mahalagang tanong na dapat pang pag-aralan nang mas malalim.

Tinukoy ni Ryan Greenblatt na maraming historikal na pagpapabuti sa mga corpus ng pre-training data ay tila mga pag-unlad na direktang maaaring i-push ng mga researcher sa automation sa pamamagitan ng empirikal na pagsubok, tulad ng pagpapatakbo ng mga ablation experiment na nakabatay sa iba’t ibang data upang tingnan kung paano ang pagganap ng model. Kaya, ito ay ganap na sumasang-ayon sa aming mga resulta: kung ang AI R&D ay mai-automate, maaaring mabilisang paunlarin ang mga pag-unlad sa data na nagpapalakas sa pre-training mula noong 2019.

Gusto naming i-clear: ang pagtatanong kung ang pag-unlad sa pre-training ay magpapabilis o magpapabagal nang hiwalay ay hindi ang pinakamahalagang tanong sa pangkabuuang pag-unlad ng AI, dahil ang maraming benepisyo sa nakaraang dalawang taon ay galing sa reinforcement learning.

Mga direksyon para sa hinaharap na pag-aaral

Ito ay ilang hinaharap na direksyon at tanong sa pag-aaral na naniniwala tayong magiging kapaki-pakinabang at mahalaga:

• Maaari mong isagawa ang eksperimentong ito sa mas malaking iskala upang makita kung ang data o pagpapabuti ng modelo ay mas nakadepende sa iskala, na maaaring magdulot ng mas malaking epekto sa mga unahan.
• Ano ang marginal value ng mataas na kalidad na bagong data sa pre-training at post-training, batay sa huling kakayahan?
• Gusto naming malaman kung gaano kaepektibo ang synthetic data. Isang tiyak na tanong na dapat pag-aralan: Kung mayroon kang maliit na set ng mataas na kalidad na data, gaano karami ang pagpapabuti ng epekto kung gagamitin ang synthetic data generation upang palakasin ito, kumpara sa pagtratrabaho nito sa maraming pagkakataon nang direkta?
• Maaari mong i-estima ang implicit value ng data batay sa ratio ng mga gastos sa data brokers, environmental producers, atbp. kumpara sa gastos sa computing power at mga researcher.

Gusto naming suriin kung ano ang papel ng data sa pagpapalago ng AI. Mayroon pa ring maraming iba pang paraan upang aralin ang tanong na ito, at ilan sa mga ito ay maaaring mas matalino o mas may-alam kaysa sa aming paraan. Bukod pa rito, maliit lamang ang aming eksperimento. Naniniwala kami na maaaring nakalimutan namin ang ilan, at gustong-gusto naming malaman kung paano sasagutin ng iba ang tanong na ito, at mas mainam pa kung makikita namin ang kanilang mga resulta!

Lubos na salamat sa maraming makabuluhang talakayan ni Charlie O'Neill.

Pinagsimulan namin ang pag-pretrain ng mga modelo na ito mula sa zero sa iba’t ibang corpus ng data, gamit ang iba’t ibang budget ng computing power at nagtatakda ng maraming hiwalay na seed. Ang aming budget ng computing power ay: 1e17, 3.16e17, 1e18, 3.16e18, at 1e19 FLOP. Ang pamantayan sa pagkalkula ng computing power ay gumagamit ng nominal na computing power C = 6ND (kung saan ang N ay ang bilang ng non-embedding parameters at D ay ang bilang ng data tokens).

Sa bawat budget ng computing power, inaayos namin ang bilang ng parameter upang i-adjust ang bilang ng token sa pagtuturo, upang matukoy ang pinakamabisang pagkakasunod-sunod ng computing power para sa bawat kombinasyon ng training recipe at corpus. Ginagamit namin ang hold-out loss sa corpus upang matukoy ang puntos na may pinakamabuting computing power. Pagkatapos, maaari naming makakuha ng curve ng paglalawak ng computing power para sa downstream performance ng bawat kombinasyon, mula dito ay hinihingi ang computing multiplier.

Pinapagana namin ang paggamit ng shared tokenizer at context length sa lahat ng mga pagpapatakbo: GPT-2 BPE (tiktoken, vocabulary ng 50,257) at T=2048, batch = 262,144 tokens.

Ang huling kakayahan ng aming pagpapatakbo ay malalayong nakadepende sa mga hyperparameter. Malinaw na imposible na subukan ang lahat ng posibleng kombinasyon ng hyperparameter; ang pagtutuwid ng hyperparameter ay talagang isang masusing sining! Sinusubukan naming kontrolin ito at isinaalang-alang ang peak learning rate bilang pinakamahalagang hyperparameter.

Ang ilang bersyon ng algoritmo ay nagtatadhana ng tamang halaga ng peak learning rate bilang punsiyon ng iba pang kaugnay na mga bariabulo, tulad ng laki ng modelo, budget ng data, laki ng batch, atbp. Ang mga ito ay nagbibigay ng mabuting prior para sa pagtukoy ng optimal learning rate.

Una naming sinuri ang learning rate sa 5 mga anchor point: 3 iba’t ibang laki ng model at 2 iba’t ibang D/N ratio. Tinukoy namin ang optimal learning rate sa mga anchor point na ito at inaplay ang parameter form ng optimal learning rate.

Para sa lahat ng mga recipe ng modelo maliban sa OLMo-2, nag-fit kami ng isang karaniwang eksponensyal na a at b, kasama ang isang model-specific na lr₀. Para sa OLMo-2, ginamit namin ang optimal learning rate na nakasaad sa recipe ng modelo. Ang dahilan kung bakit ganoon namin kinabigyang-kahulugan ang OLMo-2 ay dahil sa Ai2 ay naglabas ng small model scale bilang bahagi ng recipe, kung saan nakasaad ang optimal hyperparameters para sa aming pinag-aaral na sukat. Pati na rin, pinatotohanan namin sa 3.16e18 FLOP na computational optimum na ang aming production learning rate ay nasa o malapit sa optimal.

Mga pangunahing teknikal na resulta

Ipaliwanag ang ilang anomalya sa chart

Nakikita namin na ang efficiency ng computing power ay umuunlad sa loob ng panahon sa parehong mga aspeto ng modelo at data, na tumutugma sa inaasahan. Ang ilang anomaliya na nakikita namin:

• Mas mababa ang performance ng NeoX sa 1e19 kumpara sa GPT-2 (kahit na mas maganda ang performance nito sa saklaw ng 1e17 hanggang 3.16e18). Maaaring dulot ng ingay sa OLMES evaluation. Nakatanda rin kami na mas maganda ang performance ng NeoX sa out-of-sample pretraining loss sa FineWeb-Edu corpus.
• Ang performance ng The Piles ay tila mas masama kaysa sa OpenWebText. Hindi ito nakakagulat, dahil ang pangunahing pagpapabuti ng Pile ay sa diversidad ng data corpus, hindi sa filtering. Ito ay may maingat na piniling 22-pinagmulang mix, kabilang ang mga papel mula sa PubMed at arXiv, GitHub code, legal opinions, patents, at mga rekord ng parlamento. Para sa maraming mga token na ito, ang cross-domain transfer sa OLMES (English Web Prose Multiple Choice) ay maaaring maliit, kaya nagresulta ito sa mas mababang efficiency sa computing. Napansin namin na dahil sa mas malaking sukat, inaasahan namin na magiging mas mahusay ang Pile sa mas malaking iskala kaysa sa (talagang maliit na) OpenWebText.
• Dapat ding tandaan na ang multiplier ng hashing power ng NeoX at Pile ay nakakuha sa pamamagitan ng extrapolation, na nagdudulot ng karagdagang potensyal na error.

Paano kalkulahin ang hash rate multiplier at ang mga error line nito

• Bawat punto sa kurba ng pagpapalawak ng computing power ay galing sa maraming independiyenteng pagpapatakbo ng pagtuturo ng seed. Ang mga linya ng error doon ay ang standard deviation ng pagtataya ng OLMES sa mga seed na ito.
• Isaalang ang modelo o corpus ng data sa isang partikular na antas ng performance na batay sa isang ibinigay na antas ng computing power.
• Pagkatapos, kalkulahin namin ang compute multiplier sa pamamagitan ng paghahanap sa pinakakaliwang punto sa compute scaling curve ng candidate model o corpus kung де kailangan ng reference performance. Ang ratio ng compute na kailangan ng reference sa compute na kailangan ng candidate ay ang compute multiplier ng candidate.
• Ang error bar ng power multiplier ay galing sa parametric bootstrap ng buong proseso ng pagtataya, na nasa isang standard deviation interval.
• Totoo naming ibinibigay namin na ang tunay na pagkakamali sa model capacity multiplier ay mas mataas kaysa sa ipinapakita ng error bars. Ito ay dahil ang aming saklaw ng hyperparameter tuning ay limitado, at ang huling kakayahan o out-of-sample loss ay maaaring medyo sensitibo sa eksaktong pagpili ng peak learning rate, batch size, at iba pa.

Mahalaga ring tandaan na ang aming mga ablation study ay may maraming dahilan kung bakit hindi makakakuha ng buong saklaw ng pagtaas ng efficiency ng compute. Sa katotohanan, mula 2019 hanggang 2025, nakita namin ang taun-taong pagtaas ng efficiency ng compute sa gilid ng model na 1.24 beses [1.19, 1.29], at 1.51 beses [1.45, 1.57] sa gilid ng data. Kapag pinagsama, nakita namin ang taun-taong pagtaas ng efficiency ng compute na 1.57 beses [1.49, 1.65]7. Ito ay talagang mas mababa kaysa sa average na estima na 3 beses ni Anson Ho at iba pa, dahil sa mga sumusunod na kadahilanan:

• Maraming benepisyo ay maaaring nakadepende sa sukat, o lalo na mahalaga sa mas mahabang konteksto, ngunit ang aming sukat ay masyadong maliit upang maipakita ang maraming benepisyo. Halimbawa, ang layer norm at QK norm ng OLMo-2, at ang parallel attention + MLP block sa NeoX.
• Hindi nakikita ang pagpapabuti ng pagiging epektibo ng pag-iisip (tulad ng GQA ng LLama-3, isang pagpapabuti sa KV cache) bilang isang multiplier ng computing power sa aming pag-aaral. Hindi rin namin sinuri ang mga pagpapabuti sa tokenizer.
• Ang multiplier ng computing power na aming natanggap ay medyo sensitibo sa aming piliin na model recipe o data corpus bawat taon. Pumili kami ng mga recipe o data corpus na itinuturing naming representatibo. Ngunit hindi ito kompletong patotohanan na ito ang pinakamahusay na piliin bawat taon.
• Pinapansin namin ang compute multiplier kumpara sa OLMES benchmark (na naglalaman ng 10 uri ng mas simpleng gawain), hindi ang compute multiplier upang makamit ang isang partikular na perplexity score. Kung titingnan natin ang iba pang benchmarks (tulad ng mga benchmark para sa coding o problem solving), magkakaiba ang mga numero, at maaaring magbigay ng kapalit sa magkakaibang paraan ng data engineering.

Gusto naming tukuyin na hindi namin sinuri ang mga pagpapabuti sa ibang aspeto ng data, tulad ng pagkuha ng mas maraming mataas-kalidad na data mula sa bagong pinagkukunan, data na nilikha ng mga eksperto, o mga paraan sa paggawa ng sintetikong data. Ang karamihan sa mga korpus na sinuri namin ay mula sa parehong curated (subset) ng Common Crawl, at hindi ang pagpapalawig ng available na koleksyon ng data. Ito ay malinaw na paggamit ng limitadong stock, at ang antas ng pagpapalago na maaaring maabot ng leverage na ito ay limitado.

Income independence from model recipes and datasets

Ginawa namin ang sumusunod na pag-aaral upang matukoy kung gaano kalayong independiyente ang pagkakaroon ng modelong recipe at dataset. Sinuri namin ang OLMES score grid sa 3.16e18 FLOPs. Ginawa ang linear regression sa OLMES scores gamit ang modelo: OLMES score = mean + model effect + data effect, na nagresulta sa R-squared na 0.88. Ibig sabihin, 88% ng variance sa OLMES scores ay maaaring ipaliwanag ng additive effect ng model at data improvement, at lamang ang halos 12% ng variance ay mula sa interaction terms o higher-order terms, at sa ingay ng pagtataya. Ito ay nagpapahiwatig na ang mga komplikadong interaksyon sa model at data (kaya ang paggamit ng isang partikular na model improvement ay nakadepende sa isang tiyak na data engineering, o kabaligtaran) ay relatibong maliit.

Ipinagkakalat ni Anson Ho at iba ang pagtaas ng efisiyensiya ng software (sa pre-training) sa 3 beses bawat taon (95% confidence interval: 1.5 beses hanggang 64 beses). Tulad ng sinabi ni Ho sa blog na ito, “Ang karamihan sa pag-unlad ng software ay maaaring mula sa pagpapabuti ng kalidad ng data,” at “mula sa pagpapalawig ng ilang kaunting algorithmikong pagbabago na may kaugnayan sa sukat.”

Gumagamit kami ng pagsasabing C = 6ND para kalkulahin ang hashing power.

Ang recipe ng model noong 2019 ay GPT-2, at ang recipe ng model noong 2025 ay OLMo-2. Ang dataset noong 2019 ay OpenWebText, at ang dataset noong 2025 ay UltraFineWeb.

Nakakaranas kami ng ilang pagkakaroon ng hindi katatagan sa pagtatrabaho ng GPT3 sa Pile (gradient spikes).

Kasama rito ang mga pagpapabuti sa optimizer, warm-up with decay scheduling, pagpapalit ng learned absolute position sa RoPE, RMSNorm kasama ang SwiGLU-gated MLP, norm rearrangement, QK-norm, Z-loss regularization, at mas malinis na initialization.

Para sa grid ng 7x7 na mga kombinasyon ng recipe ng modelo at dataset sa budget na 3.16e18, gumamit kami ng isang seed lamang bawat isa.

Ang 1.57-fold year-over-year multiplier ay kalkuladong gamit ang joint improvement mula sa 2019 model at corpus patungo sa 2025 model at corpus, hindi ang produkto ng 1.24-fold improvement sa model side at 1.51-fold improvement sa data side.