Beating मॉनिटरिंग के अनुसार, बिटस्ट्रीम के तीन जानकार लोगों के संदर्भ में बिजनेस टाइम्स ने बताया कि बाइटडांस ने एक 10 ट्रिलियन पैरामीटर तक के बड़े मॉडल की प्री-ट्रेनिंग शुरू कर दी है। यह प्रोजेक्ट अभी शुरुआती चरण में है और अंतिम आकार अभी तय नहीं हुआ है। यदि इसे अधिकतम सीमा तक प्रशिक्षित किया जाए, तो यह Kimi K3 से तीन गुना से अधिक हो जाएगा और वर्तमान में ज्ञात चीनी टीमों में सबसे बड़ा मॉडल बन जाएगा। बाइटडांस इस बार सीधे अपने मॉडल के आकार को Anthropic के प्रमुख मॉडल के पास पहुंचा रहा है। Anthropic ने कभी Mythos 5 के पैरामीटर की संख्या प्रकाशित नहीं की है, लेकिन बिजनेस टाइम्स के संदर्भ में उद्योग के अनुमानों के अनुसार, Mythos 5 लगभग 8 ट्रिलियन पैरामीटर है, और Fable 5 लगभग 5 ट्रिलियन है। यदि बाइटडांस का नया मॉडल 10 ट्रिलियन पर पहुंचता है, तो कम से कम पैरामीटर स्केल के मामले में, यह संयुक्त राज्य अमेरिका के सबसे अग्रणी बंद स्रोत मॉडल्स के समान स्तर पर पहुंच जाएगा। यह मॉडल वर्तमान में प्री-ट्रेनिंग (अत्यधिक मात्रा में डेटा का उपयोग करके मॉडल की मूल क्षमता को प्रशिक्षित करना) के चरण में है। बिजनेस टाइम्स के मुताबिक, इस चरण में सामान्यतः 3 से 6 महीने लगते हैं, और उसके बाद पोस्ट-ट्रेनिंग की प्रक्रिया होती है, जिसके सफल पूरा होने पर ही मॉडल को प्रकाशित किया जाएगा। अधिक पैरामीटर होना सभी स्थितियों में सभी क्षमताओं को स्वचालित रूप से मजबूत नहीं करता; अंतिम प्रदर्शन संरचना, प्रशिक्षण डेटा, और प्रशिक्षण पद्धति पर निर्भर करता है। हाल ही में, Zhang Yiming ne Seed के भीतर स्पष्टतः प्रतिद्वंद्वी मॉडल्स को स्टूडेंट-टीचर प्रशिक्षण (distillation) के समर्थन में प्रतिबंध लगा दिया है, और टीम को संक्षिप्तकालिक पीछे हटने को स्वीकार करने, स्वयं के संसाधनों से पहली पंक्ति में पहुंचने के लिए प्रोत्साहित किया है। 10 ट्रिलियन पैरामीटर का यह नया मॉडल, बाइटडांस का सबसे साहसी स्केल-आधारित प्रयास है।
ByteDance 10 ट्रिलियन पैरामीटर वाले AI मॉडल के प्रशिक्षण को शुरू कर चुका है, जो Anthropic के स्केल के करीब पहुंच गया है
MarsBitसाझा करें
सारांश
बाइटडांस ने AI + क्रिप्टो समाचार की रिपोर्ट्स के अनुसार, अधिकतम 10 ट्रिलियन पैरामीटर्स वाला एक विशाल AI मॉडल के प्री-ट्रेनिंग को शुरू कर दिया है। यदि यह मॉडल उच्चतम सीमा तक पूरा किया जाता है, तो यह किमी K3 से तीन गुना से अधिक होगा और एंथ्रोपिक के अफवाहों में 8 ट्रिलियन पैरामीटर्स वाले मिथोस 5 के साथ प्रतिस्पर्धा करेगा। प्री-ट्रेनिंग चरण 3 से 6 महीने तक चलने की उम्मीद है, जिसके बाद अतिरिक्त प्रशिक्षण होगा। सीईओ ज़हांग यिमिंग ने आंतरिक अनुसंधान के लिए दबाव बनाया है, जिसका लक्ष्य वैश्विक AI प्रतिस्पर्धा में प्रतिस्पर्धा करना है। क्रिप्टो समाचार मीडिया इस कदम को प्रौद्योगिकी क्षेत्र में एक प्रमुख विकास के रूप में हाइलाइट कर रहे हैं।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।