क्या तेज़ टोकनीकरण बड़े AI मॉडल्स के प्रशिक्षण में एक प्रमुख बॉटलनेक को हटा सकता है? गिगाटोकन एक ओपन-सोर्स टोकनाइज़र है, जो ट्रेनिंग डेटा को सीधे फाइलों से पढ़कर और कार्य को कई CPU कोर्स पर वितरित करके इस प्रक्रिया को काफी तेज़ बनाने के लिए डिज़ाइन किया गया है। प्रशिक्षण के लिए कच्चे टेक्स्ट का उपयोग करने से पहले, इसे ऐसे टोकन में परिवर्तित किया जाना चाहिए जिन्हें मॉडल प्रोसेस कर सके। यह आमतौर पर छोटे डेटासेट्स के लिए मायने नहीं रखता, लेकिन बड़े डेटासेट्स को टोकनाइज़ करने के लिए अधिक समय और CPU संसाधनों की आवश्यकता होती है। गिगाटोकन ने एक हाई-एंड सर्वर पर लगभग 2.7 अरब GPT-2 टोकन्स को लगभग आधे सेकंड में प्रोसेस किया, जो प्रोजेक्ट के बेंचमार्क में हगिंग फेस के टोकनाइज़र से लगभग 1,000x तेज़ था। बड़े प्रशिक्षण प्रयोगशालाओं और डेटा प्रदाताओं के लिए, इसका मतलब हो सकता है कि डेटा तैयार करने के लिए कम CPU की आवश्यकता होगी और जब भी कोई डेटासेट या टोकनाइज़र बदलता है, तो तेज़ी से पुनरावृत्ति हो सकती है।
Mintyसाझा करें
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।