अध्ययन: 2019 से 2025 तक प्री-ट्रेनिंग की दक्षता में डेटा सुधार मॉडल लाभों को पार कर गए

मार्स कैपिटल की समाचार रिपोर्ट के अनुसार, ड्वार्केश पटेल और जेरी हान ने 8 सितंबर, 2026 को एक अध्ययन प्रकाशित किया, जिसमें 2019 से 2025 तक के प्री-ट्रेनिंग प्रगति में डेटा और मॉडल में सुधार के योगदान का विश्लेषण किया गया। अध्ययन में छोटे पैमाने पर प्री-ट्रेनिंग के लिए अनुकूलित किया गया, जहां प्रत्येक वर्ष के लिए उस वर्ष जारी मॉडल रेसिपी और खुले डेटा कॉर्पस का उपयोग किया गया, और अधिकतम 1e19 FLOPs की ट्रेनिंग कैलकुलेशन स्केल पर संयुक्त ट्रेनिंग की गई। परिणामों के अनुसार, 1e19 FLOPs की कैलकुलेशन बजट के तहत, डेटा में सुधार से कैलकुलेशन दक्षता में 12.0 गुना की वृद्धि हुई, जबकि मॉडल में सुधार से 3.7 गुना की वृद्धि हुई; डेटा स्तर पर वृद्धि, मॉडल स्तर पर वृद्धि की लगभग 3.24 गुना है। डेटा और मॉडल में सुधार के प्रभाव लगभग स्वतंत्र हैं और लगभग कोई अंतःक्रिया नहीं होती; रैखिक मॉडल के अंतर्गत, इन दोनों के योगात्मक प्रभाव से OLMES स्कोर के 88% परिवर्तन की व्याख्या की जा सकती है। मॉडल स्तर पर GPT-2 से OLMo-2 तक के विकास में, ऑप्टिमाइज़र, पोज़िशनल कोडिंग, नॉर्मलाइज़ेशन, एक्टिवेशन फंक्शन और इनिशियलाइज़ेशन सहित कई सुधार शामिल हैं। डेटा स्तर पर 2019 में लगभग 90 बिलियन token के OpenWebText से, 2025 में UltraFineWeb जैसे, बड़े और अधिक सूक्ष्मता से फ़िल्टर किए गए कॉर्पस तक का विकास हुआ।