رسالة من ChainCatcher: نشر دواركش باتيل وجيري هان بحثًا في 8 سبتمبر 2026، يحلل مساهمة تحسينات البيانات والنماذج في التقدم المُسبق للتدريب من 2019 إلى 2025. تم إجراء البحث على نطاق أصغر مخصص للتدريب المسبق، مع مطابقة كل سنة مع وصف النموذج والبيانات المنشورة في تلك السنة، ودمج التدريب على نطاق حسابي يصل إلى 1e19 FLOPs. أظهرت النتائج أنه تحت ميزانية حسابية قدرها 1e19 FLOPs، فإن تحسينات البيانات حققت زيادة في كفاءة الحساب بنسبة 12.0 ضعف، بينما حققت تحسينات النموذج زيادة بنسبة 3.7 ضعف، أي أن مساهمة البيانات كانت حوالي 3.24 ضعف مساهمة النموذج. كانت مكاسب البيانات والنماذج مستقلة إلى حد كبير، مع تفاعل شبه معدوم، ويمكن للتأثير الجمعي الخطي لكليهما تفسير 88% من التباين في درجات OLMES. شمل تطور النموذج من GPT-2 إلى OLMo-2 تحسينات في المُحسّن، ترميز الموقع، التطبيع، دالة التنشيط، والتهيئة. أما تطور البيانات، فانتقل من OpenWebText بحوالي 9 مليارات رمز في عام 2019، إلى مجموعات بيانات أكبر وأكثر دقة في عام 2025 مثل UltraFineWeb.
دراسة: تفوق تحسينات البيانات على مكاسب النموذج في كفاءة التدريب المسبق من 2019 إلى 2025
Chaincatcherمشاركة
ملخص
أظهرت دراسة أجراها دواركش باتيل وجيري هان، ونُشرت في 8 سبتمبر 2026، أن تحسينات البيانات تفوقت على مكاسب النموذج في كفاءة التدريب المسبق من 2019 إلى 2025. ساهمت بيانات السلسلة في زيادة كفاءة الحوسبة بمقدار 12.0 ضعف، بينما قدمت تحسينات النموذج زيادة بمقدار 3.7 ضعف ضمن ميزانية قدرها 1e19 FLOPs. تشير اتجاهات بيانات التضخم إلى أن جودة البيانات هي الآن العامل الرئيسي في الكفاءة.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.