دراسة: تفوق تحسينات البيانات على مكاسب النموذج في كفاءة التدريب المسبق من 2019 إلى 2025

رسالة من Mars Finance: نشر دواركيش باتيل وجيري هان دراسة في 8 سبتمبر 2026، تحلل مساهمة تحسينات البيانات والنماذج في التقدم المحرز في التدريب المسبق من عام 2019 إلى 2025. تم إجراء الدراسة على نطاق أصغر مخصص للتدريب المسبق، مع مطابقة كل سنة مع وصف النموذج والبيانات المفتوحة المنشورة لتلك السنة، ودمج التدريب على نطاق حسابي يصل إلى 1e19 FLOPs. أظهرت النتائج أنه تحت ميزانية حسابية قدرها 1e19 FLOPs، فإن تحسينات البيانات حققت زيادة في كفاءة الحساب بنسبة 12.0 ضعف، بينما حققت تحسينات النموذج زيادة بنسبة 3.7 ضعف، أي أن مساهمة البيانات كانت حوالي 3.24 ضعف مساهمة النموذج. كانت مكاسب البيانات والنماذج مستقلة إلى حد كبير وتقريبًا غير متفاعلة، ويمكن لتأثيرهما الجمعي في النموذج الخطي تفسير 88% من تباين درجة OLMES. شمل تطور النموذج من GPT-2 إلى OLMo-2 تحسينات في المُحسّن، ترميز الموقع، التطبيع، دالة التنشيط، والتهيئة. أما تطور البيانات، فانتقل من OpenWebText بحوالي 9 مليارات رمز في عام 2019، إلى مجموعات بيانات أكبر وأكثر دقة في التصفية مثل UltraFineWeb في عام 2025.