ChainCatcher के अनुसार, ड्वार्केश पटेल और जेरी हान ने 8 सितंबर, 2026 को एक अध्ययन प्रकाशित किया, जिसमें 2019 से 2025 तक की प्री-ट्रेनिंग प्रगति में डेटा और मॉडल में सुधार के योगदान का विश्लेषण किया गया। अध्ययन में छोटे पैमाने पर प्री-ट्रेनिंग के लिए अनुकूलित किया गया, जहां प्रत्येक वर्ष के लिए उस वर्ष उपलब्ध मॉडल सूत्रों और खुले डेटा कॉर्पस का उपयोग किया गया, और अधिकतम 1e19 FLOPs की प्रशिक्षण गणना सीमा पर संयुक्त प्रशिक्षण किया गया। परिणामों के अनुसार, 1e19 FLOPs की गणना बजट के तहत, डेटा में सुधार से 12.0 गुना की गणना दक्षता में वृद्धि हुई, जबकि मॉडल में सुधार से 3.7 गुना की वृद्धि हुई; डेटा की वृद्धि, मॉडल की वृद्धि की तुलना में लगभग 3.24 गुना अधिक है। डेटा और मॉडल में सुधार के प्रभाव लगभग स्वतंत्र हैं और लगभग कोई अंतःक्रिया नहीं होती; रैखिक मॉडल के अंतर्गत, इन दोनों के योगात्मक प्रभाव से OLMES स्कोर के 88% परिवर्तन की व्याख्या की जा सकती है। मॉडल पक्ष पर GPT-2 से OLMo-2 तक के विकास में, ऑप्टिमाइज़र, स्थानीयकरण कोडिंग, सामान्यीकरण, सक्रियण कार्यों और प्रारंभिकीकरण सहित कई पहलुओं को शामिल किया गया है। डेटा पक्ष पर, 2019 में लगभग 90 बिलियन token के OpenWebText से, 2025 में UltraFineWeb जैसे, बड़े और सूक्ष्मतः फ़िल्टर किए गए कॉर्पस में परिवर्तन हुआ।
अध्ययन: 2019 से 2025 तक प्रीट्रेनिंग दक्षता में डेटा सुधार मॉडल लाभों की तुलना में तेज़ हैं
Chaincatcherसाझा करें
सारांश
2019 से 2025 तक के प्रीट्रेनिंग दक्षता में डेटा सुधारों ने मॉडल में वृद्धि को पीछे छोड़ दिया, जैसा कि 8 सितंबर, 2026 को ध्वर्केश पटेल और जेरी हान द्वारा प्रकाशित एक अध्ययन में दिखाया गया। ऑन-चेन डेटा ने 12.0x कम्प्यूटेशनल दक्षता लाभ प्रदान किया, जबकि मॉडल सुधारों ने 1e19 FLOPs बजट के तहत 3.7x लाभ प्रदान किया। अनुपात डेटा के प्रवृत्ति संकेत देते हैं कि अब दक्षता का मुख्य कारण डेटा की गुणवत्ता है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।