रिपोर्ट्स के अनुसार, बाइटडांस लगभग 10 ट्रिलियन पैरामीटर्स के साथ एक एआई मॉडल की प्री-ट्रेनिंग के लिए तैयार हो रहा है, जिसका पैमाना किसी भी ज्ञात चीनी एआई सिस्टम से बहुत बड़ा होगा और कंपनी को सबसे उन्नत पश्चिमी लैब्स के साथ सीधी प्रतिस्पर्धा में डाल देगा। इस प्रयास के लिए लगभग 30,000 GPU और लगातार 3 से 6 महीने की प्री-ट्रेनिंग की आवश्यकता होगी।
10 ट्रिलियन पैरामीटर्स को समझने के लिए, यह Moonshot AI के Kimi K3 के आकार से तीन गुना अधिक है, जिसमें 2.8 ट्रिलियन पैरामीटर्स हैं और जो वर्तमान में चीन में बनाए गए सबसे बड़े मॉडल्स में से एक है। पैरामीटर्स मूल रूप से AI मॉडल के वो नियंत्रण हैं जिन्हें प्रशिक्षण के दौरान डेटा में पैटर्न सीखने के लिए समायोजित किया जाता है।
बाइटडांस वास्तव में क्या बना रहा है
सवाल में उल्लिखित मॉडल एक मिक्सचर ऑफ एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करता है। प्रत्येक क्वेरी के लिए हर पैरामीटर को सक्रिय न करके, MoE मॉडल प्रत्येक इनपुट को विशेषज्ञ "एक्सपर्ट" सब-नेटवर्क के एक उपसमूह की ओर रूट करते हैं। इससे उनका निष्पादन समय पर उसी कुल आकार के घने मॉडल की तुलना में कहीं अधिक कुशल होता है।
बाइटडांस की सीड एआई टीम, जिसमें लगभग 2,000 कर्मचारी हैं, इस प्रयास का नेतृत्व कर रही है। इस टीम के पास पहले से ही प्रशिक्षण रन को स्केल करने का अनुभव है, जिसमें लगभग 12,000 GPU का उपयोग करके 175 अरब पैरामीटर तक के मॉडल प्रशिक्षित किए गए हैं। बाइटडांस ने अपने मेगास्केल इंफ्रास्ट्रक्चर पर शोध प्रकाशित किया है, जिसे 10,000 GPU से अधिक के वितरित प्रशिक्षण प्रणालियों को प्रबंधित करने के लिए डिज़ाइन किया गया है।
प्री-ट्रेनिंग चरण केवल पहला कदम है। प्रारंभिक चलाने के बाद, किसी भी संभावित सार्वजनिक रिलीज से पहले मॉडल को फाइन-ट्यूनिंग किया जाएगा। रिपोर्ट्स के अनुसार, बाइटडांस के संस्थापक ज़हांग यिमिंग ने सीड एआई टीम को पश्चिमी एआई सिस्टम से डिस्टिलेशन पर निर्भर रहने के बजाय वास्तविक प्रौद्योगिकीय क्रांतियों पर ध्यान केंद्रित करने का निर्देश दिया है।
बाइटडांस क्यों सोचता है कि यह कर सकता है
ByteDance के पास कुछ संरचनात्मक लाभ हैं जो इसे केवल एक घमंडी प्रोजेक्ट से अधिक बनाते हैं। कंपनी TikTok संचालित करती है, जो वैश्विक स्तर पर एक अरब से अधिक उपयोगकर्ताओं को सेवा प्रदान करता है, और Doubao, जो चीन में सबसे अधिक उपयोग किए जाने वाले AI सहायकों में से एक है। यह उपभोक्ता फुटप्रिंट इतनी बड़ी मात्रा में इंटरैक्शन डेटा उत्पन्न करता है जो प्रशिक्षण और सूक्ष्म-समायोजन निर्णयों को सूचित कर सकता है।
कमरे में हाजिर हाथी, बेशक, उन उन्नत AI चिप्स पर संयुक्त राज्य निर्यात प्रतिबंध हैं। वाशिंगटन ने उच्च-स्तरीय Nvidia GPU और अन्य त्वरकों की चीनी संस्थाओं को बिक्री पर क्रमिक रूप से नियंत्रण कठोर किया है। बाइटडांस ने अभी तक सार्वजनिक रूप से इस प्रशिक्षण चक्र के लिए इस्तेमाल करने की योजना बनाई गई विशिष्ट GPU मॉडल का विस्तार से वर्णन नहीं किया है, लेकिन कंपनी की 30,000 इकाइयों को जुटाने की क्षमता से स्पष्ट होता है कि वह प्रतिबंधों के माध्यम से एक कार्यशील मार्ग खोज लिया है।
इससे बदल जाने वाली प्रतिस्पर्धात्मक वातावरण
ByteDance एकमात्र चीनी AI लैब नहीं है जिसके पास बड़े लक्ष्य हैं। Alibaba की Qwen टीम, Baidu, और DeepSeek और Moonshot AI जैसी स्टार्टअप्स ने सभी मॉडल के पैमाने की सीमाओं को आगे बढ़ाया है। लेकिन 10 ट्रिलियन पैरामीटर वाला मॉडल उनमें से किसी भी कंपनी द्वारा सार्वजनिक रूप से घोषित या लागू किए गए किसी भी मॉडल से काफी बड़ी कूद होगी।
लक्ष्य के साथ बाइटडांस को पश्चिमी फ्रंटियर लैब्स के साथ बातचीत में भी शामिल किया जाता है। एंथ्रोपिक के नवीनतम प्रणालियाँ, जिनके साथ बाइटडांस को मिलाने का दावा किया जा रहा है, सार्वजनिक रूप से ज्ञात AI क्षमता की वर्तमान सीमा को दर्शाती हैं।
3 से 6 महीने की पूर्व-प्रशिक्षण अवधि का अर्थ है कि परिणाम या जटिलताएँ 2026 के अंत से पहले ही उभरने लग सकती हैं।