ChainCatcher کی رپورٹ کے مطابق، دوکارش پیٹیل اور جیری ہان نے 8 ستمبر 2026 کو ایک تحقیق جاری کی جس میں 2019 سے 2025 تک کی پری ٹریننگ میں ترقی کے لیے ڈیٹا اور ماڈل میں بہتری کا اثر تجزیہ کیا گیا۔ یہ تحقیق چھوٹے پیمانے پر، صرف پری ٹریننگ کے لیے کی گئی، جس میں ہر سال کے لیے عوامی ماڈل کے ریسیپ اور عوامی ڈیٹا کارپس کا استعمال کیا گیا، اور زیادہ سے زیادہ 1e19 FLOPs کے تربیتی کمپوٹیشنل بجٹ پر تربیت مجموعہ کیا گیا۔ نتائج نے ظاہر کیا کہ 1e19 FLOPs کے کمپوٹیشنل بجٹ کے تحت، ڈیٹا میں بہتری نے 12.0 گنا کمپوٹیشنل اثربخشی مہیا کی، جبکہ ماڈل میں بہتری نے 3.7 گنا اثربخشی دی، جس سے ڈیٹا کا فائدہ ماڈل کے فائدے سے تقریباً 3.24 گنا زیادہ نکلا۔ ڈیٹا اور ماڈل میں بہتری کے فوائد تقریباً آپس میں مستقل اور غیر متبادل ہیں، اور لینئر ماڈل کے تحت ان دونوں کا جمع اثر OLMES اسکور کے 88% وارینس کو واضح کرتا ہے۔ ماڈل کے حوالے سے GPT-2 سے OLMo-2 تک کا ترقیاتی سفر شامل ہے جس میں آپٹمائزر، پوزیشنل اینکوڈنگ، نارملائزیشن، اکٹوئٹشن فنکشنز اور انٹشلائزیشن سمیت مختلف بہتریاں شامل ہیں۔ ڈیٹا کے حوالے سے 2019 میں تقریباً 9 بلین ٹوکن والے OpenWebText سے لے کر 2025 میں زائد سائز والے اور بہتر فلٹر شدہ UltraFineWeb جیسے کارپس تک ترقی پائی۔
مطالعہ: 2019 سے 2025 تک پری ٹریننگ کی کارکردگی میں ڈیٹا میں بہتری ماڈل کی ترقی سے زیادہ ہے
Chaincatcherبانٹیں
خلاصہ
2026ء کے 8 ستمبر کو جیری ہان اور ڈوارکیش پیٹل نے شائع کیا گیا ایک مطالعہ ظاہر کرتا ہے کہ 2019 سے 2025 تک پری ٹریننگ کی کارکردگی میں ڈیٹا میں بہتری نے ماڈل کی بہتری کو پیچھے چھوڑ دیا۔ آن چین ڈیٹا نے 12.0x کمپوٹیشنل کارکردگی میں اضافہ کیا، جبکہ ماڈل میں بہتری نے 1e19 FLOPs کے بجٹ کے تحت 3.7x کا فائدہ دیا۔ انفلیشن ڈیٹا کے رجحانات سے پتہ چلتا ہے کہ اب کارکردگی کا اہم ترین عامل ڈیٹا کی معیار ہے۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔