چینی AI کا اہم مilestone: 1.6T پیرامیٹر والی DeepSeek ماڈل مکمل طور پر گھریلو Ascend 910C پر تربیت یافتہ
KuCoinFlash
بانٹیں
خلاصہ
شینزین ہیٹاؤ کالج، ایچ آئی ٹی (شینزین)، شینزین انسٹیٹیوٹ آف بگ ڈیٹا اور ہواوی کی ملی ٹیم نے گھریلو اسکینڈ 910C AI پلیٹ فارم پر 1.6 ٹریلین پیرامیٹر ڈیپسیک-وی-4-پرو ماڈل کا مکمل پوسٹ ٹریننگ مکمل کر لیا ہے۔ یہ آن چین خبر یہ نشاندہی کرتی ہے کہ کسی تیسری طرف کے گروپ نے پہلی بار 1,000 سے زائد اسکینڈ 910C چپس کا استعمال کرتے ہوئے 1.6T پیرامیٹر ماڈل کا مکمل ٹریننگ حاصل کیا ہے۔ ٹیم نے ماڈل کمپیوٹ استعمال کو 30% سے زائد اور اہم آپریٹر کارکردگی کو 14% تک بڑھایا، جبکہ 1,500 سے زائد ٹریننگ اسٹیپس کے دوران کوئی سسٹم فیلئر نہیں ہوا۔ AI + کرپٹو خبر سے ملکی AI صلاحیتیں اور بنیادی ڈھانچے کے بڑھتے ہوئے جذبے کا اظہار ہوتا ہے۔
ME AI کی خبر، Beating مانیٹرنگ کے مطابق، شنزن ہیکو کالجز، ہاربن ٹیکنالوجی یونیورسٹی (شنزن)، شنزن بگ ڈیٹا ریسرچ انسٹیٹیوٹ اور ہواوی کے متعلقہ ٹیمز نے مل کر شنزن زِی چینگ AI کمپوٹنگ پلیٹ فارم کے ساتھ مل کر، 1.6 ٹریلین پیرامیٹرز والے ڈیپ سیک-وی-پرو بڑے ماڈل کی مکمل پیرامیٹر پوسٹ-ٹریننگ کو اپنے ڈومیسٹک AI کمپوٹنگ پلیٹ فارم پر کامیابی سے چلایا ہے۔ یہ دنیا بھر میں پہلی بار کوئی تھرڈ پارٹی ادارہ ہے جس نے اپنے ڈومیسٹک کمپوٹنگ پلیٹ فارم پر 1.6 ٹریلین پیرامیٹرز والے ماڈل کی مکمل پوسٹ-ٹریننگ مکمل کی ہے۔ صفر سے شروع ہونے والی پر-ٹریننگ (Pre-training) کے مقابلے میں، پوسٹ-ٹریننگ مرحلہ (جو بنیادی طور پر سپروائزڈ فائن ٹیوننگ SFT اور رینفورسمنٹ لرننگ RL پر مشتمل ہے) ماڈل کو اعلیٰ معیار کے حکمات اور انسانی ترجیحات کے ذریعے ہدایات کا پابند بنانے اور خاص کاموں کو انجام دینے کا تربیت دیتا ہے۔ تاہم، 1.6 ٹریلین پیرامیٹرز والے MoE آرکیٹکچر ماڈل کے لیے، مکمل پیرامیٹر پوسٹ-ٹریننگ بنیادی ہارڈویر کے GPU مموری کے حجم، متعدد کارڈز کے درمیان کمیونیکیشن بینڈ وِدتھ (جیسے MoE راؤٹنگ کے نتیجے میں ہونے والی فُل-تو-فُل کمیونیکیشن) اور بڑے کلัสٹرز کی استحکام کے لحاظ سے بہت سخت تقاضوں کا باعث بنتا ہے۔ مشترکہ ترقیاتی ٹیم نے ہواوی شینگ تینگ 910C کمپوٹنگ کلัสٹر پر اس طرح سے زائد اربوں چپس کا استعمال کرتے ہوئے، ڈسٹریبیوٹڈ لود بینسنگ اور لوڈ بالانسنگ اسٹریٹجيز کو بہتر بنایا اور کمیونیکیشن بوتل نک سے نمٹا۔ 1500 سے زائد اسٹپس کے طوائل تربیت کے دوران، سسٹم نے ایک بھی بندش نہیں دکھائی، ماڈل کمپوٹنگ استعمال (MFU) 30% سے زائد رہا، اہم کمپوٹنگ آپریٹرز کا موثر عمل 14% بڑھا، اور تمام اشارے صنعتی معیار تک پہنچ گئے۔ صنعت کے تجزئہ کاروں کا خیال ہے کہ ہواوی شینگ تینگ 910C کلัสٹر پر ترلین پیرامیٹرز والے ماڈلز کی تربیت مکمل ہونا، ڈومیسٹک AI چپس کو بہت بڑے ماڈلز کی گہرائی والی تربیت کے لئے استعمال کرنے کا تقنوں ممکن بناتا ہے۔ پہلے بڑے ماڈلز کا مرکزی پر-ٹریننگ نکولڈا GPU کلัสٹرز پر منحصر رہا، جبکہ ڈومیسٹک کمپوٹنگ صرف انفرنس (Inference) یا چھوٹے پیرامیٹرز والے فائن ٹیوننگ کاموں تک محدود رہا۔ اس مشترکہ ترقیاتی کام کامیابی سے، ڈومیسٹک AI کمپوٹنگ اکوسسٹم "صرف انفرنس" سے "بڑھتے ہوئے پیرامیٹرز والے ماڈلز کی مکمل تربیت" تک جانے والے تقنوں سائکل میں تبدّل ہونا شروع ہوچکا ہے۔ (ذرائع: MLion)
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔
KuCoinFlash
خلاصہ