بائٹڈانس 10 ٹریلین پیرامیٹر AI ماڈل کی تربیت شروع کر چکا ہے، جو اینتھروپک کے سائیز کے قریب پہنچ گیا ہے

Beating مانیٹرنگ کے مطابق، برطانیہ کے فنانشل ٹائمز نے تین معلوم شخصیات کے حوالے سے بتایا کہ ByteDance نے ایک ایسے بڑے ماڈل کی پری ٹریننگ شروع کر دی ہے جس کے 10 ٹریلین پیرامیٹرز تک ہو سکتے ہیں۔ یہ منصوبہ ابھی ابتدائی مراحل میں ہے اور آخری سائز ابھی تک طے نہیں ہوا۔ اگر اس کی حد تک تربیت دی جائے تو یہ Kimi K3 سے تین گنا زیادہ ہو جائے گا اور اب تک جانے جانے والے چینی ٹیموں میں سب سے بڑا ماڈل بن جائے گا۔ ByteDance اس بار مستقیم طور پر اپنا ماڈل Anthropic کے سب سے بڑے ماڈل کے قریب پہنچا رہا ہے۔ Anthropic نے کبھی Mythos 5 کے پیرامیٹرز کا اعلان نہیں کیا، لیکن فنانشل ٹائمز نے صنعت کے اندازہ کے حوالے سے بتایا کہ Mythos 5 تقریباً 8 ٹریلین پیرامیٹرز اور Fable 5 تقریباً 5 ٹریلین پیرامیٹرز ہے۔ اگر ByteDance کا نیا ماڈل 10 ٹریلین تک پہنچ جائے تو پیرامیٹرز کے حساب سے یہ امریکہ کے سب سے آگے والے بند ماڈلز کی ایک ہی سطح پر آ جائے گا۔ اس ماڈل کی موجودہ حالت میں صرف پری ٹریننگ (بہت زیادہ ڈیٹا کا استعمال کرتے ہوئے ماڈل کی بنیادی صلاحیتوں کو تربیت دینا) جاری ہے۔ فنانشل ٹائمز کے مطابق، اس مرحلے میں عام طور پر 3 سے 6 ماہ لگتے ہیں، اس کے بعد اگر سب کچھ بھلی طرح چل رہا ہو تو پوسٹ ٹریننگ کا عمل شروع ہو جائے گا اور اس کے بعد ہی اس کا اعلان کیا جائے گا۔ زیادہ پیرامیٹرز کا مطلب یہ نہیں کہ ماڈل ضرور زیادہ طاقتور ہوگا؛ آخری نتائج بنیادی طور پر آرکٹیکچر، تربیت کے ڈیٹا اور تربیت کے طریقہ کار پر منحصر ہوں گے۔ زانگ یمن نے حال ہی میں Seed اندر واضح طور پر مقابلہ کرنے والوں کے ماڈلز کو "ڈسٹل" کرنے کا مقابلہ کیا اور اپنی ٹیم سے مطالبہ کیا کہ وہ عارضی پسپائی قبول کر لیں اور خود ساختہ طریقہ سے دنیا کی پہلی لائن میں داخل ہوں۔ اس نئے ماڈل، جس کا سائز تقریباً 10 ٹریلین پیرامیٹرز تک ہو سکتا ہے، ByteDance کا اب تک کا سب سے زبردست سائز کا انحصار ہے۔