رپورٹس کے مطابق، ByteDance ایک AI ماڈل کو تقریباً 10 ٹریلین پیرامیٹرز کے ساتھ پری-ٹرین کرنے کی تیاری کر رہا ہے، جس کا سائز موجودہ تمام چینی AI سسٹمز کو پار کر جائے گا اور کمپنی کو مغربی سب سے جدید لیبز کے ساتھ براہ راست مقابلہ میں ڈال دے گا۔ اس کوشش کے لیے تقریباً 30,000 GPUs اور تخمینہً 3 سے 6 ماہ کا لگاتار پری-ٹریننگ درکار ہوگا۔
10 ٹریلین پیرامیٹرز کو سمجھنے کے لیے، یہ Moonshot AI کے Kimi K3 کے سائز سے تین گنا زیادہ ہے، جو 2.8 ٹریلین پیرامیٹرز پر مشتمل ہے اور اب تک چین میں بنائے گئے سب سے بڑے ماڈلز میں شامل ہے۔ پیرامیٹرز بنیادی طور پر وہ کنٹرولز ہیں جنہیں AI ماڈل تربیت کے دوران ڈیٹا میں پیٹرنز سیکھنے کے لیے ایڈجسٹ کرتا ہے۔
بائٹڈانس کیا بنارہا ہے
مذکورہ ماڈل ایک مکسچر آف ایکسپرٹس (MoE) آرکیٹیکچر استعمال کرتا ہے۔ ہر سوال کے لیے ہر پیرامیٹر کو فعال نہیں کیا جاتا، بلکہ MoE ماڈلز ہر ان پٹ کو مخصوص "ایکسپرٹ" سب نیٹ ورکس کے ایک ذیلی مجموعے کی طرف ریوٹ کرتے ہیں۔ اس سے انفرنس کے وقت ان کا چلانا اتنے ہی کل سائز کے ڈینس ماڈل کے مقابلے میں بہت زیادہ موثر ہوتا ہے۔
بائٹڈانس کی سیڈ AI ٹیم، جس کے بارے میں دعویٰ کیا جاتا ہے کہ اس میں تقریباً 2,000 افراد شامل ہیں، اس کوشش کی قیادت کر رہی ہے۔ اس ٹیم کے پاس پہلے سے ہی تربیت کے عمل کو بڑھانے کا تجربہ ہے، جس نے پہلے 12,000 GPU کا استعمال کرتے ہوئے 175 ارب پیرامیٹرز تک ماڈلز تربیت دیے ہیں۔ بائٹڈانس نے اپنے میگاسکیل انفراسٹرکچر پر تحقیق شائع کی ہے، جسے 10,000 GPU سے زائد کے تقسیم شدہ تربیتی نظاموں کو منظم کرنے کے لیے ڈیزائن کیا گیا تھا۔
پری-ٹریننگ مرحلہ صرف پہلا قدم ہے۔ ابتدائی رن کے بعد، کسی بھی ممکنہ عوامی جاری کرنے سے پہلے ماڈل کو فائن ٹیوننگ کیا جائے گا۔ رپورٹس کے مطابق، ByteDance کے بانی جانگ یمنگ نے Seed AI ٹیم کو مغربی AI سسٹمز سے تخلیق کرنے کی بجائے اصل ٹیکنالوجی کی ترقی پر توجہ مرکوز کرنے کی ہدایت دی ہے۔
بائٹڈانس کیوں سوچتا ہے کہ وہ اسے کامیابی کے ساتھ حاصل کر سکتا ہے
بائٹڈانس کے پاس کچھ ساختی فوائد ہیں جو اسے صرف ایک نمایشی منصوبہ سے زیادہ بناتے ہیں۔ کمپنی ٹک ٹاک چلاتی ہے، جو دنیا بھر میں ایک ارب سے زیادہ صارفین کو سروس فراہم کرتا ہے، اور دوباؤ، جو چین میں سب سے زیادہ استعمال ہونے والے AI اسسٹنٹس میں سے ایک ہے۔ یہ صارفین کا دائرہ کار ایک بہت بڑی مقدار میں تعامل کے ڈیٹا کو پیدا کرتا ہے جو تربیت اور فائن ٹننگ کے فیصلوں کو متعین کرنے میں مدد کر سکتا ہے۔
بالکل، کمرے میں ہاتھی امریکہ کی جدید AI چپس پر برآمد پابندیاں ہیں۔ واشنگٹن نے چینی اداروں کو اعلیٰ درجے کے Nvidia GPUs اور دیگر ایکسلریٹرز کی فروخت پر تدریجاً پابندیاں مضبوط کی ہیں۔ بائٹڈانس نے علناً نہیں بتایا کہ اس تربیت کے لیے وہ کون سے خاص GPU ماڈلز استعمال کرنا چاہتی ہے، لیکن کمپنی کی 30,000 چپس جمع کرنے کی صلاحیت سے ظاہر ہوتا ہے کہ وہ پابندیوں کے ذریعے ایک قابل عمل راستہ تلاش کر چکی ہے۔
اس سے منظرِ رقابت تبدیل ہو جاتا ہے
بائٹ دانس یہی چینی AI لیب نہیں ہے جس کے پاس بڑی خواہشات ہیں۔ العاب کا Qwen ٹیم، بائیڈو، اور DeepSeek اور Moonshot AI جیسے اسٹارٹ اپس نے مدل کے سائز کی سرحدوں کو آگے بڑھایا ہے۔ لیکن 10 ٹریلین پیرامیٹر والا مدل ان میں سے کسی بھی نے تکنیکی طور پر اعلان یا لاگو نہیں کیا ہے۔
ہدف کے ساتھ ساتھ بائٹڈانس کو مغربی فرنٹیئر لیبز کے ساتھ بات چیت میں بھی شامل کرتا ہے۔ اینتھروپک کے حالیہ سسٹمز، جن کے مطابق بائٹڈانس کو رپورٹس کے مطابق پہنچنے کی کوشش کی جا رہی ہے، عوامی طور پر جانے جانے والی AI کی صلاحیتوں کی موجودہ سرحد کو ظاہر کرتے ہیں۔
3 سے 6 ماہ کا پری ٹریننگ ونڈو کا مطلب ہے کہ نتائج یا پیچیدگیاں 2026 کے اختتام سے پہلے ظاہر ہونا شروع ہو سکتی ہیں۔