GPT-6 Astra نے علیحدگی سے اعلان کیا کہ اسے تربیت دینے کے لیے 100,000 سے زیادہ Grace Blackwell GPU استعمال کیے گئے، جس سے واضح ہوتا ہے کہ سرحدی ماڈل کے مقابلے میں اب فوق العادہ بڑے کلستر کا دور شروع ہو چکا ہے۔مضمون کے مصنف، ذریعہ: ME News
TL;DR:
- GPT-6 Astra نے علیحدگی سے اعلان کیا کہ اسے تربیت دینے کے لیے 100,000 سے زیادہ Grace Blackwell GPU استعمال کیے گئے، جس سے واضح ہوتا ہے کہ سرحدی ماڈل کے مقابلے میں اب فوق العادہ بڑے کلستر کا دور شروع ہو چکا ہے۔
- چین کی اولین ماڈل کمپنیوں کے پاس بڑے پیمانے پر کمپیوٹیشنل طاقت نہیں ہے، لیکن علیحدہ معلومات کے مطابق، جدید GPU نسلوں اور ایک مرحلے میں مرکزی طور پر ڈپلویمنٹ کے سائز پر واضح فرق موجود ہے۔
- بائٹ دانش، کیمی، ڈیپسیک جیسی کمپنیوں کی کمپوٹنگ طاقت کی ترتیب بڑھ رہی ہے، لیکن اب تک زیادہ تر توجہ ہاپر آرکیٹیکچر یا گھریلو متبادل حل پر مرکوز ہے، جبکہ بلاکول کے کلستر سے ابھی فاصلہ ہے۔
- AI کے مقابلے کی کلیدی بات اب "کیا GPU ہے" سے بدل کر "کیا آپ نئی نسل کے GPU حاصل کر سکتے ہیں اور لاکھوں چپس کو موثر طریقے سے منظم کر سکتے ہیں" بن گئی ہے۔
- اگرچہ بلاک ویل اب نیوڈیا کی نئی ترین آرکیٹیکچر نہیں ہے، لیکن روبن کی تربیت کے اخراجات میں مزید کمی کا رجحان یہ بھی ظاہر کرتا ہے کہ لیڈر شپ کا فرق مزید انفراسٹرکچر کی صلاحیتوں پر مرکوز ہو سکتا ہے۔
100,000 Blackwell کے پیچھے، بڑے ماڈل مقابلہ کیپیسٹی انفراسٹرکچر کے دور میں داخل ہو گیا ہے
جب ہوڠ رن یون نے GPT-6 Astra کی تربیت کے سائز کا اعلان کیا، تو باہر کی دنیا صرف "100,000 GPU" کے نمبر پر توجہ نہیں دے رہی تھی، بلکہ اس نمبر کے پیچھے ایک نئے AI مقابلے کے نمونے پر توجہ دے رہی تھی۔
گزشتہ کچھ سالوں میں، بڑے ماڈلز کی مقابلہ کو عام طور پر الگورتھم، ڈیٹا اور انجینئرنگ کی صلاحیتوں کے مقابلے کے طور پر سمجھا جاتا رہا ہے۔ ماڈل آرکیٹیکچر میں نوآوری، تربیت کے طریقوں کا بہتر بنانا، اور استدلال کی کارکردگی میں اضافہ، بالفعل AI پروڈکٹس کی آخری صلاحیت کا تعین کرتا رہا ہے۔ لیکن 2026 کے بعد، ایک واضح رجحان وجود میں آ رہا ہے: جب ماڈل کا سائز لگاتار بڑھتا رہے، تو بنیادی ڈھانچے کی صلاحیت خود ہی تکنیکی حدود کا تعین کرنے والے اہم عامل بن چکی ہے۔
ہو رینکن کے علیحدہ اعلان کے مطابق، GPT-6 Astra کی تربیت کے لیے 100,000 سے زیادہ Grace Blackwell GPU استعمال ہوئیں اور انہیں NVLink72 کے ذریعے ایک تیز رفتار انٹرکنیکٹڈ کلسٹر میں جوڑا گیا۔ اس نے یہ بھی کہا کہ اگلی لہر میں 400,000 GPU لائے جائیں گے، لیکن انہوں نے مخصوص ماڈل اور مالکیت کا اعلان نہیں کیا۔
اگرچہ بعد کی ڈپلویمنٹ کی تفصیلات کچھ بھی ہوں، لیکن یہ معلومات کا واضح سگنل ہے کہ سب سے جدید ماڈلز کی تربیت، پچھلے کئی ٹریلین پیرامیٹرز اور ہزاروں GPU کے مقابلے کے بجائے، لاکھوں تک جدید GPU کلسٹرز کے درمیان مقابلے کی طرف منتقل ہو رہی ہے۔
یہاں کلیدی بات صرف تعداد نہیں ہے۔
اگر صرف GPU کی تعداد کا موازنہ کیا جائے، تو چینی کمپنیوں کے پاس بڑے پیمانے پر کمپوٹیشنل ریسورسز بالکل نہیں ہیں۔ اصل فرق اس بات میں ہے کہ کیا آپ نئی نسل کے ہائی پرفارمنس GPU حاصل کر سکتے ہیں، اور کیا آپ ان GPU کو ایک ہی تربیتی کام میں موثر طریقے سے مل کر کام کرنے کے قابل ہیں۔
بڑے ماڈلز کے لیے، ایک ہی GPU کی پیک پرفارمنس صرف بنیادی بات ہے۔ ایک بڑے ماڈل کو ٹرین کرنے کے لیے، کئی GPU کے درمیان مستقل طور پر پیرامیٹرز اور ڈیٹا کا تبادلہ ضروری ہے۔ اگر انٹرکنیکشن کی کارکردگی کم ہو، تو چاہے آپ کے پاس کتنے ہی چپس ہوں، وہ مؤثر کمپوٹیشنل پاور نہیں بن سکتے۔
اس لیے، AI انفراسٹرکچر کی مقابلہ، بنیادی طور پر “کتنے کارڈ خریدیں” سے بڑھ کر “کس قسم کا کمپیوٹنگ سسٹم تعمیر کیا جائے” بن گیا ہے۔
چین کی ٹاپ مدل کمپنیوں کی کمپوٹیشنل طاقت کی ترتیب، بلاک ویل کے دور سے نسلی فرق رکھتی ہے
موجودہ علیحدہ معلومات کے مطابق، چین کی ٹاپ ماڈل کمپنیوں کی کمپوٹنگ طاقت تیزی سے بڑھ رہی ہے، لیکن GPT-6 Astra کی نمائندگی کرنے والے بلاکول کلاس ٹریننگ کلسٹرز کے مقابلے میں اب بھی واضح فرق موجود ہے۔
بائٹ دانس ایک ایسی کمپنی ہے جو گلوبل لیڈرز کے قریب ترین ہے جو گھریلو کمپیوٹنگ پاور کی ترتیب کو علیحدہ طور پر ظاہر کرتی ہے۔ اس سال، بائٹ دانس نے ملائیشیا کے ذریعے تقریباً 36,000 B200 GPU جوڑے ہیں۔ یہ چپس اینوڈیا کے بلاک ویل کی ساخت پر مشتمل ہیں اور اسٹرا کے استعمال کردہ GB200 سے ایک ہی نسل کے ہیں۔
لیکن توجہ دیں کہ یہ B200 کا ڈیپلومنٹ خارجی ممالک میں ہے۔ بائٹڈانس جب چین کے اندر AI انفراسٹرکچر کا تعارف کرتا ہے، تو اس کا بنیادی طور پر استعمال ہونے والا چپ Hopper آرکیٹیکچر کا چین خصوصی H20 اور پہلے حاصل کیے گئے H800 جیسے چپس ہیں۔
اس میں صرف مقداری فرق نہیں بلکہ سپلائی چین اور ڈپلویمنٹ ماحول کا فرق ظاہر ہوتا ہے۔
بلاکویل، ہاپر کے مقابلے میں کمپوٹیشنل طاقت، ویڈیو میموری اور انٹر کنکٹ کی صلاحیتوں میں اضافہ کیا گیا ہے۔ خاص طور پر GB200، جو صرف ایک GPU نہیں بلکہ گریس CPU اور بلاکویل GPU کو NVL72 سسٹم کے ذریعے ایک ہی هائی اسپیڈ انٹر کنکٹ ڈومین میں 72 GPU سے جوڑتا ہے۔
بڑے ماڈلز کی تربیت کے لیے، اس سسٹم لیول ڈیزائن کی اہمیت وقت کے ساتھ بڑھ رہی ہے۔ کیونکہ جتنا ماڈل بڑا ہوگا، GPU کے درمیان مواصلات کا تناسب اتنا ہی زیادہ ہوگا، اور چپس کے درمیان کارآمد تعاون کی صلاحیت تربیت کی کارکردگی کو ب без تاثیر ڈالتی ہے۔
کیمی کے پیچھے کا مہینے کا اندھیرا پہلو بھی اعلان کیا گیا ہے کہ اس نے علی بابا کے ذریعے تقریباً 20,000 Hopper GPU حاصل کیے ہیں۔ بلومبرگ کے مطابق، مخصوص ماڈل H200 ہے، لیکن علی بابا نے H200 ماڈل کے بارے میں انکار کر دیا ہے۔
اگر H200 کے حساب سے دیکھا جائے، تو یہ ابھی بھی پچھلی نسل کے Hopper آرکیٹیکچر کا حصہ ہے، جبکہ B200 اب Blackwell کے دور میں داخل ہو چکا ہے۔ دونوں کے درمیان صرف نئے اور پرانے کا تبادلہ نہیں، بلکہ AI انفراسٹرکچر کی صلاحیتوں کے مختلف مراحل کی نمائندگی ہے۔
ڈیپسیک کی صورت مزید خاص ہے۔
دیپسیک نے 2025 کے شروع میں اعلی کارکردگی والے ماڈلز کے ساتھ عالمی توجہ حاصل کی، جس کی تکنیکی راہ دکھاتی ہے کہ الگورتھم کے بہتر بنانے اور انجینئرنگ کی کارکردگی سے حسابی ضروریات کو جزوی طور پر کم کیا جا سکتا ہے۔ لیکن علیحدہ معلومات کے مطابق، کمپنی نے V4 کی مکمل ٹریننگ ہارڈویئر کی تفصیلات نہیں دی ہیں۔
لیو وین فینگ کے سرمایہ کاروں کے اجلاس کی ٹرانسکرپٹ میں ظاہر ہوا کہ کمپنی کے پاس مئی میں تقریباً 20,000 H ایکویولنٹ کمپوٹنگ پاور تھی، جس میں سے زیادہ تر تازہ طور پر آئی ہے، اور مستقبل میں خریداری "بنیادی طور پر نیوڈیا" ہوگی۔ ہواوی نے ڈیپسیک کو 950 کی صلاحیت فراہم کی ہے، جو تقریباً 16,000 کارڈز کے برابر ہے۔ لیو وین فینگ نے کہا کہ یہ چینی کارڈز تقریباً 4,000 Nvidia B سیریز کارڈز کے برابر ہیں، جو صرف موجودہ نسل کے ماڈلز کے ٹریننگ کے لیے کافی ہیں۔
یہ معلومات ایک حقیقت کو ظاہر کرتی ہیں: جبکہ چینی کمپنیوں کے پاس AI کیلئے کافی مقدار میں کمپوٹنگ پاور موجود ہے، لیکن ایک ہی جینریشن کے 100,000 سے زائد جدید GPU کو ایک ہی تربیتی کام کے لیے مرکوز طور پر استعمال کرنے کے لحاظ سے ان کے پاس اب بھی پیمانے کا فرق موجود ہے۔
چین کی AI کیلکولیشن کی اصل کمی، چپس کی کمی نہیں، بلکہ جدید کلستر کی صلاحیت کی کمی ہے
چینی AI کی کمپوٹنگ پاور پر بحث کرتے وقت، آسانی سے دو انتہائی نقطوں میں گھس جانا آسان ہے۔
ایک نظریہ یہ ہے کہ چین میں جدید AI چپس کی مکمل کمی ہے، اس لیے وہ مقابلے میں شرکت نہیں کر سکتا؛ دوسری نظریہ یہ ہے کہ جب تک گھریلو چپس کی تعداد بڑھتی رہے، تو وہ نوڈیا کو جلدی پیچھے چھوڑ سکتا ہے۔
واقعیت میں، صورتحال زیادہ پیچیدہ ہے۔
AI تربیت کی صلاحیت کئی اجزاء پر مشتمل ہوتی ہے، جن میں چپ کی کارکردگی، جدید پروسیس، ویڈیو میموری کی صلاحیت، تیز رفتار انٹرکنیکشن، سرور ڈیزائن، ڈیٹا سنٹر کی بجلی کی فراہمی، سافٹ ویئر ایکوسسٹم اور بڑے پیمانے پر اسکیولنگ کی صلاحیت شامل ہیں۔
GPU صرف اس کا سب سے اہم حصہ ہے، لیکن پورا نہیں۔
نVIDIA کی لمبے عرصے سے قائم کی گئی فائدہ، صرف GPU ہارڈویئر سے نہیں آیا، بلکہ CUDA ایکوسسٹم، نیٹ ورک انٹرکنکشن ٹیکنالوجی، سرور حل اور کلاؤڈ کمپیوٹنگ فرنڈز کے ساتھ تشکیل دی گئی مکمل نظام سے بھی آیا۔
بلیکول کے دور میں، اس نظام کا فائدہ مزید بڑھ گیا۔
جب ایک ماڈل ٹریننگ کے لیے 100,000 GPU کی ضرورت ہو، تو مسئلہ صرف کچھ لاکھ چپس خریدنے کا نہیں، بلکہ ایک مستقل طور پر کام کرنے والی بڑی کمپیوٹنگ فیکٹری تعمیر کرنے کا ہوتا ہے۔
یہی وجہ ہے کہ عوامی دستاویزات میں، چینی کمپنیوں نے اب تک ایک ماڈل کی تربیت کے لیے 100,000 ایک جیسی جدید GPU کے استعمال کا اعلان نہیں کیا ہے۔
چینی کمپنیاں عالمی کمپیوٹنگ طاقت کے اضافے، گھریلو چپس کے مطابقت کے دائرے کو بڑھانے، ماڈل آرکیٹیکچر کو بہتر بنانے اور تربیت کی کارکردگی میں اضافہ کرکے اپنی صلاحیتیں بڑھا رہی ہیں۔ ان تمام راستوں کی قیمت ہے، لیکن مختصر مدت میں سب سے جدید GPU کلسٹرز کی فراہم کردہ بنیادی صلاحیتوں کا مکمل طور پر تبادلہ کرنا مشکل ہے۔
گزشتہ کچھ سالوں میں، چین کا AI صنعت ایک حقیقت ثابت کر چکا ہے: الگورتھم کی نوآوری کچھ فرق کو قابلِ ذکر طور پر کم کر سکتی ہے۔
کمپنیوں جیسے DeepSeek کے ظہور سے یہ بات واضح ہوتی ہے کہ عالی کوالٹی انجینئرنگ ٹیمیں ماڈل کی ساخت میں بہتری، تربیت کی حکمت عملی میں تبدیلی اور وسائل کے استعمال کی کارکردگی میں اضافہ کرکے محدود کمپوٹیشنل پاور کے تحت بھی کامیابی حاصل کر سکتی ہیں۔
لیکن ایک اور حقیقت بھی موجود ہے: جب عالمی مقابلہ اگلے نسل کے بنیادی ماڈلز کے مرحلے میں داخل ہوتا ہے، تو کمپوٹیشنل پاور کے سائز کا اہمیت بڑھتی رہے گی۔
کارکردگی کے بہترین طریقے لاگت کم کر سکتے ہیں، لیکن جدید ہارڈویئر اور انتہائی بڑے کلسٹرز کی صلاحیتوں کے حدود کو بالکل تبدیل کرنا مشکل ہے۔
بلیکول کے بعد، روبن کا دور ممکنہ طور پر بنیادی ڈھانچے کے فرق کو مزید بڑھا دے گا
زیادہ اہم بات یہ ہے کہ بلاکول نے نوڈیا کی موجودہ ٹیکنالوجی کا خاتمہ نہیں کیا۔
نیکوڈیا کی اگلی نسل کا ویرا روبن آرکیٹیکچر اب تیاری کے مراحل میں ہے۔ نیکوڈیا کے علیحدہ اندازوں کے مطابق، بڑے MoE ماڈلز کو ٹرین کرنے کے لیے روبن کو بلاکول کے تقریباً ایک چوتھائی GPU درکار ہوں گے۔
اس کا مطلب ہے کہ مستقبل میں AI کے مقابلے میں ایک نیا چکر ظاہر ہو سکتا ہے۔
ٹاپ کمپنیاں جدید آرکیٹیکچر کے ساتھ آتی ہیں، جس کی وجہ سے وہ کم چپس کے ساتھ بڑے پیمانے پر تربیت کر سکتی ہیں؛ کم تربیت کی لاگت سے کمپنیاں مزید تجربات کرتی ہیں، جس سے مدل کی صلاحیت مزید بڑھتی ہے۔
جبکہ پیچھے رہنے والے کمپنیاں اگر صرف پچھلی نسل کے ہارڈویئر تک ہی رسائی رکھتی ہیں، تو ان کے پاس دو مسائل ہو سکتے ہیں: ایک تو تربیت کی کارکردگی کم ہے، اور دوسرے، سب سے بڑے ماڈلز کے مقابلے میں شرکت کرنا مشکل ہو جاتا ہے۔
بے شک، اس کا مطلب یہ نہیں کہ چینی AI کمپنیوں کے لیے کوئی موقع نہیں ہے۔
AI کی تاریخ نے بار بار ثابت کیا ہے کہ ٹیکنالوجی کا مقابلہ صرف ایک ہی ہارڈویئر پر منحصر نہیں ہوتا۔ ماڈل کی نوآوری، اطلاقی مناظر، تجارتی صلاحیت اور انجینئرنگ کی کارکردگی، سبھی نئے کامیابی کا باعث بن سکتی ہیں۔
لیکن اگر بنیادی ڈھانچے کے نقطہ نظر سے دیکھا جائے تو، GPT-6 Astra کا 100,000 Blackwell GPU استعمال کرنا ایک تبدیلی کو ظاہر کرتا ہے: عالمی AI مقابلے کا مرکزی میدان، مدل کے لیول سے مزید کمپوٹیشنل انفراسٹرکچر کی طرف منتقل ہو رہا ہے۔
اگلے کچھ سالوں میں، AI کمپنیوں کی مقابلہ کن صلاحیت کا فیصلہ صرف ایک بہترین ماڈل تربیت دینے کی صلاحیت نہیں، بلکہ اگلی نسل کے ماڈلز کی لگاتار تربیت کی صلاحیت ہوگی۔
چینی AI صنعت کے لیے، جس چیز کا تعاقب کرنا ضروری ہے، وہ کسی ایک ماڈل یا کسی ایک جاری کرنے کا سوال نہیں، بلکہ چپس کی ترسیل، ڈیٹا سینٹر کی تعمیر، کلستر انتظام اور سافٹ ویئر ایکوسسٹم تک کی مکمل نظام کی صلاحیت ہے۔
100,000 Blackwell کا مطلب یہ نہیں کہ یہ ایک حیرت انگیز عدد پیدا کرتا ہے، بلکہ یہ بازار کو یاد دلاتا ہے کہ صنعتی سطح پر ترقی کے ساتھ مصنوعی ذہانت آ رہی ہے، اور صنعتی مقابلہ آخرکار بنیادی ڈھانچے پر منحصر ہوتا ہے۔
حوالہ جات:
- NVIDIA کی طرف سے Blackwell، GB200 NVL72، Vera Rubin آرکیٹیکچر اور AI انفراسٹرکچر کے بارے میں علیحدہ معلومات۔
- ہوانگ رینشون کی علیحدہ تقریر اور میڈیا انٹرویوز کی معلومات۔
- بلومبرگ کے مطابق کیمی کی کمپیوٹنگ پاور خریداری اور H200 سے متعلق رپورٹس۔
- بائٹ دانس کی طرف سے شائع کی گئی AI بنیادی ڈھانچہ اور سمندر پار کمپوٹنگ طاقت کی تفصیلات۔
- ڈیپسیک کی علیحدہ معلومات اور لیانگ وین فینگ کے سرمایہ کاروں کے ساتھ ملاقات کے متعلق تحریری مواد۔
- علی بابا کلاؤڈ کے AI انفراسٹرکچر اور بڑے ماڈل کمپوٹنگ پاور کے تعاون کے بارے میں علیحدہ معلومات۔