مطالعہ: 2019 سے 2025 تک پری-ٹریننگ کی کارکردگی میں ڈیٹا میں بہتری ماڈل کی کارکردگی سے زیادہ ہے

مارس کیپیٹل کی رپورٹ کے مطابق، دوارکیش پٹیل اور جیری ہان نے 8 ستمبر 2026 کو ایک تحقیق جاری کی جس میں 2019 سے 2025 تک کی پری ٹریننگ میں ترقی کے دوران ڈیٹا اور ماڈل میں بہتری کے اثرات کا تجزیہ کیا گیا۔ یہ تحقیق چھوٹے پیمانے پر، صرف پری ٹریننگ کے لیے کی گئی، جس میں ہر سال کے لیے عوامی ماڈل کے ریسیپ اور عوامی ڈیٹا کارپس کا استعمال کیا گیا، اور اعلیٰ 1e19 FLOPs کے تربیتی حسابی بجٹ پر تربیت کا امتزاج کیا گیا۔ نتائج سے پتہ چلتا ہے کہ 1e19 FLOPs کے حسابی بجٹ کے تحت، ڈیٹا میں بہتری نے حسابی کارکردگی میں 12.0 گنا اضافہ کیا، جبکہ ماڈل میں بہتری نے 3.7 گنا اضافہ کیا، جس سے ڈیٹا کے اثرات ماڈل کے اثرات سے تقریباً 3.24 گنا زیادہ ہیں۔ ڈیٹا اور ماڈل میں بہتری کے اثرات لگभگ مستقل اور تقریباً غیر متقاطع ہیں، اور لینئر ماڈل کے تحت ان دونوں کا جمع اثر OLMES اسکور کے 88% وارئنس کو وضاحت کرتا ہے۔ ماڈل کے حوالے سے GPT-2 سے OLMo-2 تک کا ترقیاتی سفر شامل ہے جس میں آپٹمائزر، پوزیشنل اینکوڈنگ، نارملائزیشن، اکٹویشن فنکشنز اور انٹشلائزیشن سمیت مختلف عنصر شامل ہیں۔ ڈیٹا کے حوالے سے 2019 میں تقریباً 9 بلین ٹوکن والے OpenWebText سے لے کر 2025 میں زائد سائز اور بہتر فلٹرنگ والے UltraFineWeb جیسے کارپس تک ترقی ہوئی۔