AI ذریعہ تخلیق کردہ خلاصہ: جولائی 2026 میں، Moon Shadow نے Kimi K3 ماڈل کو اوپن سورس کیا اور پہلی بار 401 افراد کی فہرست شائع کی۔ کمپنی کی نئی تخمینہ قیمت 31.5 ارب ڈالر ہے، ٹیم میں تقریباً 300 سے زائد افراد ہیں، جن کی اوسط عمر 30 سال سے کم ہے، اور ہر فرد 7 ارب ڈالر کی قیمت پر مشتمل ہے۔ مرکزی ٹیم میں تین مشترکہ بانیان شامل ہیں: الگورتھم کے ذمہ دار ژو شن یو، آرکیٹیکٹ وو یو شن، اور CTO چانگ یو تاؤ، اور ان کے ساتھ تسلیم شدہ یونیورسٹیوں جیسے چنگھوا، CMU وغیرہ سے آنے والے دیگر اہم رکن۔ ٹیم نے MoBA مکسڈ بلاک اٹینشن مکینزم، Mooncake ڈیکوپلڈ انفرنس آرکیٹیکچر، Muon آپٹمائزر جیسے بنیادی ٹیکنالوجیز میں کئی نوآوریاں کی ہیں، جن کے نتائج کو FAST 2025 میں بہترین پیپر کا اعزاز حاصل ہوا۔ یہ نوجوان جنگلی ٹیم سطحی انتظام کے لئے مشہور ہے، جس نے "لمبا، تیز، اور سستا" انجینئرنگ کارکردگی کو بہترین حد تک پہنچایا ہے اور چین کے بڑے ماڈل شعبے میں اہم طاقت بن گئی ہے۔

مضمون کا مصنف، ماخذ: Leiphone

27 جولائی کو، مون آف دی ڈارک نے اپنی پوری ایمانداری کا مظاہرہ کرتے ہوئے، مکمل طور پر فعال 2.8T ماڈل Kimi K3 کو اوپن سورس کر دیا۔ ٹیکنیکل رپورٹ کے آخر میں، انہوں نے پہلی بار Kimi K3 کے پیچھے کے اصل کنٹریبیوٹرز کی فہرست شائع کی، جس میں ہم نے 401 افراد کی تعداد کی ہے، جو کہ مون آف دی ڈارک کے ٹیلینٹ ٹیم کا ایک مکمل اظہار ہے۔

شروع میں صرف کچھ ارب ڈالر کی قیمت والی ایک اسٹارٹ اپ ٹیم سے لے کر اب "قومی بڑے ماڈل کی روشنی" کے طور پر، مہینے کے اندھیرے نے عالمی میز پر، کلاڈ فیبل 5 اور جی پی ٹی-5.6 سول جیسے بہترین ماڈلز کے ساتھ مقابلہ کرنے والی کم تعداد والی گیک ٹیموں میں شامل ہو گیا ہے۔

K3 کے جاری ہونے کے ساتھ، مہینے کے اندھیرے کا نئی ترین تقویم 315 ارب امریکی ڈالر، تقریباً 2100 ارب چینی یوان تک پہنچ گیا، اور اس 2100 ارب کی تقویم کو محفوظ رکھنے والا ایک بہت جوان ٹیم ہے۔

عوامی معلومات کے مطابق، مہینے کے اندھیرے پہلو کے پاس تقریباً 300 سے زیادہ لوگ ہیں، جن کی اوسط عمر 30 سال سے کم ہے، جن میں سے 80 فیصد I ہیں۔ اگر اسے تبدیل کیا جائے، تو تقريباً ہر شخص 7 ارب رینمنبی کی قیمت کا انتظام کرتا ہے۔

ماہ کے اندھیرے پہلو کی تنظیمی ساخت بہت فلیٹ ہے۔ ماہ کے اندھیرے پہلو کے پانچ ادارہ کنندگان ہیں، جن میں سے ہر ایک براہ راست 40-50 افراد سے جڑا ہوا ہے۔ اندر کی سطح پر، "کوئی عہدہ، کوئی KPI، کوئی محکمہ کی دیوار" کے لیے مشہور ہے، اور ملازمین کبھی بھی اپنے بوس کو چیلنج کر سکتے ہیں۔ ایک تفصیل یہ ہے کہ 2025 کے آغاز میں ایک تجزیاتی اجلاس میں، ایک ملازم نے انتہائی تجویز پیش کی، جس کے بعد یانگ زھی لین نے اس تجویز سے بھی زیادہ تجاوز کرتے ہوئے K1 چھوڑ دیا اور K2 پر منتقل ہو گئے۔

یہ غیر معمولی انداز کمپنی کے “روح” میں بھی ظاہر ہوتا ہے۔ راک کے شوقین یانگ زھی لین نے میٹنگ رومس کو رولنگ اسٹونز، نِرْوانا، ریڈیوہیڈ جیسی شہرت یافتہ بینڈز کے نام دیے ہیں، اور حتیٰ کہ کِمی کے ممبرشپ پلانز کو بھی اڈاجیو (柔板)، الیگرو (快板) جیسے موسیقی کے اصطلاحات سے نام دیا گیا ہے۔

مہینے کے اندھیرے پہلو کو یقین ہے کہ آج کے دور میں، جب کمپوٹیشنل پاور اور ڈیٹا میں ہم آہنگی بڑھ رہی ہے، "ذائقہ" ہی فرق کا بنیادی ڈرائیور ہے۔ یہ ذائقہ صرف ماڈل کی تعمیر میں نہیں، بلکہ ان کے افراد کے لیے ان کی بے چینی اور خواہش میں بھی گہرا اظہار کرتا ہے۔

ماہ کے اندھیرے پہلو کو سی ای او کو ملازمت دینا پسند ہے، خاص طور پر وہ لوگ جن میں "کاروباری سرخی" یا "جوازی جین" ہو۔ عوامی ذرائع کے مطابق، کمپنی کے اندر کم از کم 50 افراد نے کسی نئی کمپنی کی بنیاد رکھی ہے یا اس میں شمولیت اختیار کی ہے۔ اور پچھلے سال، ماہ کے اندھیرے پہلو نے جو نئے ملازمین مقرر کیے، ان میں سے 100 سے زائد لوگوں کو اندر کی تجویز کے ذریعے شامل کیا گیا۔

آج، ہم فہرست کے مطابق مکمل گہرائی تک جا کر K3 کنٹریبیوٹرز کے بارے میں تمام قابل اعتماد معلومات کو اکٹھا کرتے ہیں۔ اس عالی شان ٹیک ٹیم کی بنیادی پس منظر اور اصل صلاحیتیں سب کچھ سامنے آ چکی ہیں۔

01 کیمی ٹیکنالوجی سسٹم کی بنیادی اصول

زہو شنیو ایک اہم مشترکہ بانی ہیں اور الگورتھم ٹیم کے ہیڈ ہیں۔

ژو شنیو اور یانگ زھی لین پہلے سے جانے جاتے تھے، ایک دلچسپ تفصیل یہ ہے کہ زہو شنیو کلارہ یونیورسٹی کے Splay بینڈ کے گٹارسٹ تھے، جبکہ ڈرم کی اسٹک ہینگ یانگ زھی لین تھا۔

زہو شن یو نے مہینے کے اندھیرے حصے میں شامل ہونے سے پہلے، کوانگ شی میں الگورتھم کی مصنوعات اور موبائل ایپلیکیشن ماڈلز کی تحقیق کی۔ اس نے اس وقت کوانگ شی کے بنیادی تحقیق کے سربراہ، جو اب جیئے سٹار کے سینئر سائنسدان ہیں، زہانگ شانگ یو کے ساتھ تنگ طور پر تعاون کیا اور ہلکے نیٹ ورک کے مشہور کام ShuffleNet کو اپنے ہاتھوں سے لکھا۔

ژو شنیو کا مرکزی توجہ بڑے ماڈل الگورتھمز کو مصنوعات کی شکل میں لانے پر ہے، وہ سب سے جدید لیب الگورتھمز کو کارآمد اور کم لاگت والے طریقے سے بڑے پیمانے پر پیداواری سسٹم میں تبدیل کرنے میں ماہر ہے۔ وہ مکسڈ آرکیٹیکچر کے بہترین طریقے بھی جانتا ہے، جس نے Reddit کمیونٹی کے ٹیکنیکل ایم اے اے میں کمی کے K3 KDA مکسڈ آرکیٹیکچر کو NoPE MLA کے ساتھ جوڑنے کا تجزیہ کرکے ثابت کیا کہ یہ آرکیٹیکچر پری ٹریننگ اور ری انفورسمنٹ لرننگ دونوں میں کم توانائی استعمال کرتا ہے اور زیادہ تیز ہے۔

وو یوشین، مہینے کے اندھیرے والے پہلو کے ملکہ موجدین میں سے ایک ہیں۔ اس کے علاوہ، وہ صنعتِ مصنوعی ذہانت کے ایک ٹاپ ماہر اور مشہور آرکیٹیکٹ ہیں، جن کے پاس گہری سیکھنے، کمپیوٹر ویژن (CV) اور بڑے زبانی ماڈلز (LLM) کے بنیادی انجینئرنگ آرکیٹیکچر اور انفراسٹرکچر پر گہرا علم ہے۔

وو یوشین اور یانگ زھیلین کا تعلیمی پس منظر ایک جیسا ہے، جس نے کلارا یونیورسٹی کے کمپیوٹر سائنس ڈپارٹمنٹ سے اپنی گریجویشن مکمل کی اور پھر امریکہ کے کارنیگی میلون یونیورسٹی (CMU) میں مزید تعلیم حاصل کی۔ انہوں نے میٹا AI ریسرچ لیب (FAIR) میں ریسرچ انجینئر کے طور پر کام کیا، جہاں انہوں نے کمپیوٹر وژن کے متعدد علامتی تکنیکوں کی قیادت کی اور ان پر اہم شراکت کی۔

یو یوشین نے یانگ زھی لین کے ساتھ مہینے کے اندھیرے کی بنیاد رکھنے سے پہلے ہی گہری سیکھنے اور کمپیوٹر ویژن کے شعبوں میں دو صنعتی معیار کے اہم نتائج چھوڑ دیے تھے:

ایک تو ڈیٹیکٹرون2 کے ایک بنیادی موجد اور ڈویلپر کے طور پر، یہ منصوبہ عالمی کمپیوٹر ویژن کے گریجویٹ ایکوسسٹم کو دوبارہ شکل دے گیا اور عالمی سطح پر ہزاروں ویژول مڈل اور آبجیکٹ ڈیٹیکشن منصوبوں کا "عام بنیادی ڈھانچہ" بن گیا۔

زیادہ اہم بات یہ ہے کہ اس نے 2018 میں اعلیٰ اکادمیک ماہر ہی کائیمنگ کے ساتھ گروپ نارملائزیشن پر ایک بڑا مقالہ شائع کیا، جسے ECCV 2018 کا بہترین مقالہ کا اعزازی ذکر (Best Paper Honorable Mention) دیا گیا۔

یہ کلاسک تفصیل نے چھوٹے نمونوں کی تربیت کے دوران سنتھیتی نارملائزیشن کے مہلک بند راستے کو ختم کر دیا۔ ایک یا دو لائنوں کی بنیادی نوآوری کے ذریعے "دنیا بھر کے AI تربیت کے قوانین کو دوبارہ لکھنے" کی اس صلاحیت نے وو یوشین کو اوپن سورس دنیا میں انتہائی اعلیٰ ٹیکنیکل اثر و رسوخ فراہم کیا۔

ماہ کے اندھیرے پہلو پر، وہ وہی شخص تھا جس نے بنیاد رکھی۔ اس نے بڑے ماڈل کی ساخت اور تربیت کی کارکردگی کے بہترین طریقوں میں گہری شرکت کی، اور عالمی PyTorch ڈویلپرز کانفرنس میں شرکت کرتے ہوئے دنیا بھر کو Kimi کے عالمی خلائی بنیادی ڈھانچے پر اپنے بنیادی حصے کو واضح طور پر سمجھایا۔

وو یوشین کی تخصصی صلاحیتیں، کیمی کو اگلی نسل کے بہت لمبے متعدد ماڈل ٹیکسٹ کی حد تک پہنچنے کے لیے آخری ٹکڑا فراہم کرتی ہیں۔ وہ اعلی کارکردگی والے گہرے سیکھنے والے نظاموں کے بہتر بنانے میں ماہر ہیں، جس میں بڑے ماڈلز کو تریلینوں پیرامیٹرز پر زیادہ مستحکم، تیز اور کم میموری استعمال کرتے ہوئے چلانے کا مسئلہ حل کیا جاتا ہے، جو کیمی کو لمبے ٹیکسٹ اور اعلی متوازی ڈیٹا پر چکنے تجربے کے لیے ٹیکنالوجی کا دیوار بناتا ہے۔

ان کے MoCo v1 کے گہری سیکھنے کے اہم مilestone کے ایک مرکزی مصنف کے طور پر، وہ Kimi کو صرف صنعت کے سب سے طاقتور دماغ (فطری زبان کی سمجھ) نہیں دے رہے، بلکہ حقیقی فزیکل دنیا کو گہرائی سے سمجھنے والی آنکھیں (بہ متعدّد ماڈل ویژول) بھی تیار کر رہے ہیں۔

چانگ یو تاؤ مہینے کے اندھیرے کے مشترکہ بانیوں میں سے ایک ہیں، اور مہینے کے اندھیرے کے CTO بھی ہیں۔ وہ یانگ زھی لین کے ساتھ ہواوا کے طلبہ ہیں، اور زھی پو کے بانی تانگ جیے ان کے استاد ہیں۔

2016ء میں، چانگ یو تاؤ اور یانگ زھی لین نے "سائکل آئی ٹی" کی بنیاد رکھی، اس کے بعد وہ یانگ زھی لین کے ساتھ "مہینے کے اندھیرے سطح" کی بھی بنیاد رکھی۔ اگر یانگ زھی لین "مہینے کے اندھیرے سطح" کے "نیویگیٹر" ہیں، تو چانگ یو تاؤ وہ سرکاری انجینئر ہیں جو "آئی ٹی" کے اس بڑے جہاز کے پاور سسٹم کو بہترین طریقے سے ڈیزائن کرتے ہیں۔ کِمی کو لمبے متن، پیچیدہ استدلال اور ایجنٹ ٹاسک انجام دینے میں طویل ترقی حاصل ہوئی، اس میں چانگ یو تاؤ کا بڑا کردار ہے۔

اس سے پہلے کہ وہ مہینے کے اندھیرے حصے میں شامل ہوا، اس نے جانکاری کے گراف اور ہeterogeneous ڈیٹا فیوژن کے شعبے میں کئی "صنعتی سطح کے" اہم نتائج حاصل کیے تھے۔

ان کی سب سے مشہور تکنیکی دستاویزات میں سے ایک، ٹیکنالوجی ڈیٹا اینالیٹکس پلیٹ فارم AMiner کے ترقی کو ٹیکنیکل لیڈر کے طور پر ہدایت کرنا تھا۔ اس پلیٹ فارم کا جو آج دنیا بھر کے کروڑوں اسکولارز کو سروس فراہم کرتا ہے، اس کے پیچھے کی بنیادی غیر متجانس ڈیٹا فیوژن ٹیکنالوجی میں چانگ یو تاؤ نے چینگہوا یونیورسٹی میں اپنے ڈاکٹریٹ کے دوران شرکت کی تھی۔ "بڑے پیمانے پر علم کو مشینز کس طرح سے جذب، سمجھ اور تلاش کرتی ہیں" اس بات کا گہرا تصور، Kimi کی طویل متن کے معالجہ کے لئے تکنیکی بنیاد بن چکا ہے۔

اس کی اکادمک کارکردگی میں، اس نے KDD، CIKM جیسے کمپیوٹر سائنس کے ٹاپ کنفرنسز میں کئی زیادہ حوالہ دی جانے والی تحریریں شائع کی ہیں۔ وہ صرف اسی تک محدود نہیں کہ وہ علمی گراف کے ذریعے AI کو "منطقی حس" فراہم کرتا ہے، بلکہ سائکلک انٹیلی جنس کے دور میں، اس نے "ہزار سائکل زیرو شاٹ AI پلیٹ فارم" کو ترقی دینے کا رہنمائی کیا، جس نے صنعتی بڑے ماڈلز کو کاروباری خدمات کے ماحول میں بڑے پیمانے پر لاگو کرنے میں کامیابی حاصل کی۔

چانگ یو تاؤ کا تخصص AI کے "بات چیت کرنے کی صلاحیت" سے "کام کرنے کی صلاحیت" تک کے ہر مرحلے کا درست پیش گوئی کرنا تھا۔ وہ لمبے سیاق و سباق کے ونڈو ٹیکنالوجی اور ڈائنامک اسکیلنگ نیٹ ورک آرکیٹیکچر کو فروغ دینے پر توجہ دے رہے ہیں، جس کا مقصد AI کو بڑے پیمانے پر معلومات میں "بیدار" رکھنا ہے۔

2026ء کے جولائی کے نئے ٹیکنالوجی سامٹ پر، اس نے صنعت کے انجینئرنگ کے تین ٹیکنالوجیکل رجحانات کو واضح کیا: 2023ء Prompt کا دور تھا جس میں "کیسے پوچھیں" پر تحقیق ہو رہی تھی، 2024ء میں یہ "کافی معلومات فراہم کریں" کے Context کے دور میں ترقی کر گیا، اور 2026ء میں بڑے ماڈلز نے Harness انجینئرنگ کے نئے مرحلے میں قدم رکھا۔ اب، وہ اپنی ٹیم کے ساتھ "AI کے لیے عملی ماحول کیسے تشکیل دیا جائے اور اگر مسئلہ ہو تو خود بخود اسے حل کرنے کا طریقہ" کے آخری مقابلے پر کام کر رہے ہیں۔

ہی شینرین مونشٹ آئی ای کے انجینئرنگ وائس پریزیڈنٹ اور AI انفراسٹرکچر ہیڈ ہیں۔

اس کے پاس مکمل اسٹیک لیورل ڈویلپمنٹ کا تجربہ ہے، جس میں اس نے پہلے کوانگ شی میں MegEngine (Tianyuan) ڈیپ لرننگ فریم ورک اور اربوں ویکٹر سرچ سسٹم کی ترقی کی ذمہ داری سنبھالی تھی۔ اب، وہ مہینے کے اندھیرے پہلو کے بڑے ماڈل کی ٹریننگ، انفرنس اور بنیادی ڈھانچے کے کل انسٹالیشن ڈیزائن کی ذمہ داری سنبھال رہا ہے۔

بڑے ماڈل انفرینس کے لیے، کیمی کے لمبے ٹیکسٹ کے بزنس سیناریوز کے لیے، اس نے اپنی ٹیم کے ساتھ مل کر KV Cache پر مبنی الگ تھلگ انفرینس آرکیٹیکچر Mooncake ڈیزائن کیا۔ اس کام کو پریفِل (Prefill) اور ڈیکوڈ (Decode) مراحل کے مکمل الگ کرنے، اور لاکھوں کے طویل کنٹیکسٹ کے لیے گرافکس میموری اور I/O دباؤ کو کم کرنے کے لیے FAST 2025 میں بہترین پیپر ایوارڈ دیا گیا۔

اسی طرح، مو با (مکسڈ بلاک اٹینشن) میکنزم کے ایک مرکزی مصنف کے طور پر، اس نے بلاک لیول اٹینشن کٹنگ کے ذریعے کیمی کے لیے تربیت اور استنباط دونوں طرف بڑا لاگت کم اور کارکردگی بڑھانے کا عمل کیا۔

ماڈل ٹریننگ کے لیے، اس نے اوپن سورس پراجیکٹ Moonlight اور اس کے بنیادی آپٹیمائزر Muon کے ترقی میں شرکت کی، جس میں میٹرکس آرٹھوگونلائزیشن کا استعمال کرکے روایتی AdamW کو متبادل بنایا گیا، جس سے ڈسٹریبیوٹڈ ٹریننگ میں تریلین پیرامیٹرز والے ماڈلز کی کمپوٹیشنل لاگت میں کمی آئی۔

اس سیریز کے دوران بڑے پیمانے پر لمبے ٹیکسٹ ٹریفک کے لیے ڈسٹریبیوٹڈ اسٹوریج اور انفرنس کے عمل کے باعث، اسے GOSIM China عالمی اوپن سورس کانفرنس پر تقریر کے لیے دعوت دی گئی۔ اس کا توجہ مرکوز رہا ہے مکمل اسٹیک لارج مڈل کی ساخت پر، جس کا مقصد کم FLOPs کے نقصان اور KV Cache کے استعمال کے ساتھ اعلیٰ ذہانت والی لمبی ٹیکسٹ انفرنس کو سپورٹ کرنا ہے۔

وہ مہینے کے اندھیرے پہلو کے استدلال نظام کے ذمہ دار ہیں، جو FAST 2025 کی بہترین تحریر کے مرکزی مصنف ہیں، اور Kimi کی لمبے متن استدلال اسکیما کے عملی اطلاق کے لیے بنیادی ٹیکنیکل رکن ہیں۔ Kimi k1.5، Kimi-VL، K2 سے لے کر Kimi Linear، Kimi-Audio تک، اور پھر MoBA، Muon، AttnRes جیسی مرکزی اسکیما کی تحریروں تک، ان کا نام چھٹی نسل کے ٹیکنالوجی کے نتائج میں شامل ہے، اور ان کا تمام کام ایک ہی مرکزی مقصد پر مرکوز ہے: نظام کے ڈیزائن سے کارکردگی حاصل کرنا، تاکہ بڑے ماڈل حقیقی طور پر قابل رسائی ہو سکیں۔

ماہ کے اندھیرے حصے میں شامل ہونے سے پہلے، ہی وی ران نے اعلی کارکردگی والے کمپیوٹنگ کے شعبے میں کئی سالوں تک گہرا کام کیا تھا۔ وہ تشنگوا یونیورسٹی کے کمپیوٹر سائنس ڈپارٹمنٹ سے فارغ التحصیل ہوئے، جہاں انہوں نے ابتدائی طور پر چپ کی وائرنگ اور بنیادی پرفارمنس کے بہترین جزو کو فروغ دیا؛ کوانگ شی کے دوران، انہوں نے اپنے خود کے AI چپ اور کم وڈتھ نیورل نیٹ ورکس پر مرکوز کام کیا، جبکہ وہ اسی دوران ماہ کے اندھیرے حصے کے مشترکہ بانی زہو شن یو کے ساتھ کام کر رہے تھے — جو کلاسک OCR ٹیکسٹ ڈیٹیکشن سولوشن EAST کے پہلے موجد تھے۔

2023 میں مہینے کے اندھیرے حصے میں شامل ہونے کے بعد، اس نے اپنے سالوں کا سسٹم انجینئرنگ کا تجربہ ایک تریلین پیرامیٹر کے بڑے ماڈل کی ریزنگ سروس پر لاگو کیا۔

اس کا سب سے نمایاں کام KVCache الگ کردہ استدلال آرکیٹیکچر Mooncake ہے۔ یہ سسٹم روایتی استدلال سروس کے آرکیٹیکچر کے معیار کو توڑ دیتا ہے، جس میں بڑے ماڈل کے سب سے زیادہ ویڈیو میموری استعمال کرنے والے میموری کیش کو الگ کرکے مرکزی طور پر سکیڈول کیا جاتا ہے، اور عالمی کیش ری یوز اور تفصیلی راؤٹنگ کے ذریعے، کمپوٹنگ طاقت کے سائز کو مستقل رکھتے ہوئے، Kimi کے درخواستوں کی صلاحیت میں 75% سے زائد اضافہ ہوا۔ اس نے 2024 کے QCon کانفرنس میں اعلان کیا کہ اس آرکیٹیکچر اور مستقل انجینئرنگ بہتری کے ذریعے، Kimi استدلال کلستر کی اکائی لاگت ایک سال میں 20 گنا سے زائد کم ہو گئی۔

فبروری 2025 میں، مون کیک سے متعلق تحقیقی مقالہ FAST کانفرنس کا ایرک رائل بہترین مقالہ ایوارڈ جیت گیا — جو اسٹوریج سسٹم کے شعبے کا ایک اہم ترین اعزاز ہے۔ اس کی انجینئرنگ کی قدر کو یہ بھی ظاہر کرتا ہے کہ مقالہ کو اعزاز دینے سے پہلے ہی، یہ ڈھانچہ کیمی کے پیداواری ماحول میں ہزاروں نوڈس پر مستقل طور پر چل رہا تھا، جو روزانہ اربوں ٹوکن کے صارفین کے درخواستوں کو پروسیس کرتا ہے۔

ہاں، K3 ٹیکنالوجی رپورٹ میں مخصوص فرد کی ذمہ داریاں نہیں بتائی گئیں، لیکن کئی بنیادی کامیابیاں اس کی ٹیم کے ٹیکنالوجی کے رجحان کو جاری رکھتی ہیں: KDA+MLA ہائبرڈ آرکیٹیکچر کے تحت روایتی پریفکس کیش کے ناکام ہونے کے مسئلے کے لیے، ٹیم نے vLLM کمیونٹی کو افسرانہ مطابقت کا عمل فراہم کیا؛ لاکھوں ٹوکن والی لمبی درخواستوں کے لیے، کلستر نے کیش کو سمجھنے والی راؤٹنگ اور شیڈولنگ اسٹریٹجی استعمال کی، جس سے کیش ری استعمال کی کارکردگی کو زیادہ سے زیادہ بڑھایا گیا۔ آخرکار K3 نے اپنا نتیجہ یہ دیا کہ انفرینس کا خرچ صرف Claude Fable 5 کا 38% ہے، جبکہ KVCache آپٹمائزیشن، پریفکس کیش، اور لاگت کنٹرول، بالکل Mooncake سسٹم کے مرکزی موضوعات ہیں۔

چپ کی وائرنگ سے لے کر تریلین پیمانے کے ماڈل کے انفرینس تک، ہو وی ران کا ٹیکنالوجی پتہ ہمیشہ واضح رہا: سسٹم کی کارکردگی پر گہرا توجہ دینا، اور کمپیوٹیشنل لاگت کو کم کرنے کے لیے انجینئرنگ ڈیزائن کا استعمال کرنا۔ اگر ٹاپ الگورتھم ریسرچرز نے کیمی کی صلاحیتوں کا حد تک پہنچایا، تو اس کا اور اس کے ٹیم نے یہ ٹاپ لیول کی صلاحیت کو عملی شکل دی، تاکہ زیادہ عام صارفین اسے سستا اور مستحکم طریقے سے استعمال کر سکیں۔

02 مڈل ایکسپرٹس · عملی بنیادی افراد

دو یو لُن مہینے کے اندھیرے والے پہلو میں پری ٹریننگ اور سکیلنگ کے شعبے کی ذمہ داری سنبھال رہے ہیں۔

وہ امریکہ کے الینوائی یونیورسٹی، اربانا-شامپین اور کارنیگی میلون یونیورسٹی کے آرٹیفیشل انٹیلی جنس پروگرام سے فارغ التحصیل ہوئے۔ بعد میں وہ سرکل انٹیلی جنس میں شامل ہوئے، جہاں وہ ریسرچر اور AI Lab کے ہیڈ کے طور پر کام کر چکے ہیں، اور مون آف دا آرک کے بنیادی ٹیکنالوجی لیڈر میں سے ایک ہیں۔

ماڈل کے بنیادی تربیت اور سائز کے رخ کے مرکزی ذمہ دار کے طور پر، ان کے ٹیکنیکل اہمیت نے کیمی کی تمام نمایاں بنیادی ماڈلز اور VL، آڈیو سمیت تمام بہ متعدد ماڈلز کے ڈیزائن کو مکمل طور پر شامل کیا ہے۔

انفرادی تکنیکی突破 کے تحت، وہ "Attention Residuals"، "MoBA (Mixed Block Attention)"، اور پری-ٹرینڈ آپٹیمائزر کے پیپر "Muon is Scalable for LLM Training" کے مشترکہ مصنف ہیں۔ ان کا کام مرکزی طور پر بلاک لیول توجہ کے تقسیم اور ٹریننگ فلو کے دوبارہ ڈیزائن پر مبنی ہے، جس سے انتہائی گہرے نیٹ ورکس میں سگنل ڈیکے کو کم کیا جاتا ہے اور تریلین پیمانے کے مڈل مڈل مدلز کی ڈسٹریبیوٹڈ ٹریننگ کی کارکردگی میں نمایاں اضافہ ہوتا ہے۔

انجینئرنگ کے اوپن سورس لیول پر، وہ MoonshotAI کے سرکاری اوپن سورس پروجیکٹ کا فعال مرکزی کنٹریبیوٹر ہے۔ کوڈ کولابوریشن ریکارڈز کے مطابق، دو یو لُن، الگورتھم ایکسپرٹ سو جیان لِن، اور ریزنگ سسٹم کے مینیجر ہی وی رن کے درمیان اعلیٰ ترین سطح پر کوڈ کولابوریشن اور ریویو کا تعاون ہوتا ہے، جو کِمی کو ملینوں طویل ٹیکسٹس اور مکمل موڈلز کے لیے ہائی لیول افیشینسی فراہم کرنے والے بنیادی ٹیکنالوجی سائکل کا حصہ بناتے ہیں۔

چانگ یو، مہینے کے اندھیرے پہلو کے مرکزی آرکیٹیکٹ ہیں، جو بڑے زبان ماڈل کی موثر، قابل توسیع اور ہارڈویئر دوست آرکیٹیکچر ڈیزائن پر توجہ دیتے ہیں۔ غیر ٹرانسفارمر اور لینئر توجہ کے راستے کے پیشگو، وہ لمبے متن کے "جتنا لمبا، اتنا ہی سست اور بہت زیادہ پیسہ خرچ" کے انجینئرنگ شیطان کو دور کرنے پر مرکوز ہیں۔

اکیڈمک اور انجینئرنگ عمل دونوں میں چانگ یو کے کامیابیاں بہت زیادہ ہیں۔ وہ نہ صرف ریزیڈوئل کنکشن "Attention Residuals" کے مشترکہ پہلے مصنفین میں سے ایک ہیں، بلکہ مہینے کے اندھیرے پہلو کے موثر ماڈل آرکیٹیکچر کے مرکزی ترقیاتی مصنف بھی ہیں۔

اس نے خود کو کھلا سورس Kimi Linear ماڈل کی ترقی کی قیادت کی، جس نے لیئر اٹینشن میکنزم کو سب سے لمبے کانٹیکسٹ ٹاسکس پر کامیابی سے لاگو کیا اور ایک انقلابی کارکردگی میں اضافہ کیا۔ اس کے علاوہ، اس نے زہو کی طرح ٹیکنیکل کمیونٹیز پر "Kimi Linear ڈویلپمنٹ جرنی" شیئر کیا ہے، جو اب تک لاکھوں بڑے ماڈل ڈیٹا انجینئرز کے لیے ضروری گائیڈ کے طور پر مانی جاتی ہے۔

7B ماڈل کے بنیادی لیول پر کام کرنے سے لے کر ایک جنگ میں تریلین پیرامیٹرز والے ماڈل کو عالمی پہلی گروپ میں شامل کرنے تک، جانگ یو نے اکیڈمیک اور صنعتی دنیا کے درمیان آسانی سے سفر کیا، جہاں اس نے عالمی سطح کے اکیڈمک کانفرنسز اور اوپن سورس کمیونٹیز میں کئی ہارڈکور کوڈ چھوڑے۔

یہ سلسلہ کامیابیاں اس کے مرکزی ٹیکنالوجی پر گہرائی سے کام کرنے کا نتیجہ ہیں: موثر ماڈل آرکیٹیکچر ڈیزائن میں، وہ ماڈل کی گہرائی کو بڑھانے کے دوران مواصلات اور میموری کے بٹل نیکس کو بہتر بنانے پر توجہ دیتے ہیں؛ ٹریننگ کی ڈائنانمکس اور کارکردگی میں اضافے کے لیے، وہ بنیادی ریزیڈوئل فلو کو دوبارہ ڈیزائن کرکے بڑے ماڈلز میں PreNorm کی وجہ سے ہونے والے گریڈینٹ ڈائلوشن اور اسٹیٹ اسپلشن کا بنیادی طور پر حل نکالا۔

لائ گوکون یانگ زہیلین کا چنگہوا اور کارنیگی میلون یونیورسٹی کا دوہرے ڈگری والے فارغ التحصیل ہیں۔

وہ کیمی ٹیم کے سب سے زیادہ تحقیقی مقالات لکھنے والوں میں سے ایک ہیں، جن کے پاس دس سے زائد مقالات ہیں، وہ صرف مہینے کے اندھیرے کے "جنیوس کلب" کے ایک نمایندہ نہیں بلکہ کیمی K3 کے مرکزی کرداروں میں سے ایک ہیں اور اکادمیک دنیا میں "تعریفی" کامیابیوں کے مالک ہیں۔

مہینے کے اندھیرے حصے میں شامل ہونے سے پہلے، لائے گوکون نے NLP (Natural Language Processing) کے شعبے میں دو صنعتی معیار کے اہم نتائج چھوڑے تھے۔

ایک نے عالمی سطح پر سب سے بڑے ماشینی ریڈنگ کمپریہن ڈیٹا سیٹ میں سے ایک، "RACE ڈیٹا سیٹ" تیار کیا، جس میں چین کے طلبہ کے انگلش امتحان کے سوالات کا استعمال کرکے AI کو تربیت دی گئی اور یہ عالمی ماشینی ریڈنگ کمپریہن کا معیار بن گیا۔

زیادہ حیران کن بات یہ ہے کہ اس نے اپنے انسانی تعلیم کے دوران لکھی گئی ایک تجویزی الگورتھم پر مبنی تحریر، "Explicit factor models for explainable recommendation"، جو دس سال بعد 2024 میں SIGIR ٹائم ٹیسٹ ایوارڈ جیت گئی، جو معلومات کی تلاش کے شعبے کا ایک اہم ترین اعزاز ہے اور صرف اسی قسم کی تحریر کو دیا جاتا ہے جو دس سال پہلے شائع ہوئی ہو، وقت کے امتحان سے گزر چکی ہو، اور صنعت پر مستقل اثر ڈالی ہو۔

ماہ کے اندھیرے میں، جو لوگ یونیورسٹی کے دوران "آئندہ دہے کی ٹیکنالوجی کی راہ کو تعریف کرنے کی صلاحیت" رکھتے ہیں، وہ اکیلے نہیں ہیں۔

لائ گوکون کا تخصص Kimi کی مرکزی صلاحیتوں کے مطابق ہے، جیسے کہ وہ "مشین ریڈنگ کمپریہینشن" میں ماہر ہے، جو AI کو لمبے دستاویزات کو سمجھنے اور سوالات کے جوابات دینے کا طریقہ بتاتا ہے، جو Kimi کی لمبے متن کی صلاحیت کی بنیادی تکنیکی ڈھانچہ ہے۔

اس کے CMU کے دوران کا تحقیقی مرکز ایک سے زیادہ پری ٹرینڈ بڑے ماڈلز تھے، ساتھ ہی اس نے نیورل آرکیٹیکچر سرچ پر بھی توجہ دی، جس میں AI کو خود بخود بہتر نیٹ ورک ڈیزائن کرنے کا طریقہ تلاش کیا جاتا ہے۔ اس کے علاوہ، وہ قابل تشریح تجویز کے نظام پر بھی کام کرتے ہیں، جس میں AI صرف مواد تجویز نہیں کرتا بلکہ صارف کو یہ بھی بتاتا ہے کہ اسے یہ تجویز کیوں دی گئی۔

گو ہائیچنگ (Haiqing Guo) مہینے کے اندھیرے والے کیمی ٹیم کے ابتدائی مرکزی ریسرچ اور ترقیاتی رکن ہیں، جو ٹیم کے بزرگ ممبروں میں سے ایک ہیں اور کیمی کے تمام نسلوں کے مرکزی منصوبوں کی ترقی اور ترقی میں مکمل طور پر شامل رہے ہیں۔

شاملہ جانچ کے قابل شرکت منصوبوں میں Kimi k1.5 ٹیکنیکل رپورٹ، Kimi K2 ٹیکنیکل رپورٹ، توجہ کا باقی (AttnRes) مرکزی ارتقاء پیپر، اور Kimi K3 ٹیکنیکل رپورٹ شامل ہیں۔ جن میں سے AttnRes Kimi K3 کے دو مرکزی ارتقاء کے ایک ہے۔

دستخط کی راہ سے ظاہر ہوتا ہے کہ اس نے کیمی کے K1.5 سے لے کر K3 تک کی تین نسلوں کے مکمل ایٹریشن سائکل کو کور کیا ہے، اور اس کی شمولیت متعدد نسلوں کے مصنوعات کے مرکزی تحقیق و ترقی کے مراحل تک پھیلی ہوئی ہے، جو کیمی ٹیکنالوجی ٹیم کا مستقل مرکزی حصہ ہے۔ اب تک عوامی ذرائع میں اس کا مخصوص عہدہ یا تحقیق و ترقی کی تفصیلی تقسیم شائع نہیں ہوئی ہے۔

چن گوانگیو شاید مہینے کے اندھیرے پہلو کے سب سے کم عمر ریسرچر ہیں، جو 2009 میں پیدا ہوئے اور اب 17 سال کے ہیں، ایک ایسا نوجوان جس نے الون ماسک کو ایکس پر علیحدہ طور پر "Impressive" کہنے پر مجبور کر دیا۔

جب مہینے کے اندھیرے حصے نے دنیا بھر میں حیرت انگیز 2.8 تریلین پیرامیٹرز والے فلگشپ Kimi K3 لانچ کیا، تو وہ ٹیکنیکل جنرل سو جیان لین اور دیگر کے ساتھ ساتھ Kimi K3 کے مرکزی ڈھانچے کی بنیاد رکھنے والے مضمون "Attention Residuals" کے مشترکہ پہلے مصنف بن چکے تھے۔

اس نے توجہ باقیات (Attention Residuals) کے مکانیزم میں شرکت کی، جس نے گہری سیکھنے کے شعبے میں دس سالوں سے استعمال ہونے والے معیاری باقیات کنکشن کو بدل دیا، اور "سیکھنے کے قابل گہری توجہ" کے ذریعے ماڈل کو "پیچھے دیکھنے" کی صلاحیت دی، جس نے ماڈل کی توسیع کی کارکردگی کو براہ راست 1.25 گنا بڑھا دیا، جس سے چینی کمپنیاں تریلین سائز کے ٹاپ کمپوٹنگ میدان میں کم اخراجات میں زیادہ تیزی سے آگے بڑھ پائیں۔ اس کا "ماہ کے اندھیرے" میں شامل ہونے کا کہانی بہت عجیب ہے۔ ایک سال پہلے، اسے ٹرانسفارمر کچھ بھی نہیں معلوم تھا، لیکن اس نے ایک ہیکٹھون میں "انسان کا تیسرا مکینیکل مددگار ہاتھ" کا خیال پیدا کیا، جس کی وجہ سے اسے سلیکون واللے کے ایک اسٹارٹ اپ نے تلاش کر لیا۔ 7 ہفتوں کے بعد، اسے Kimi ٹیم نے مکمل طور پر دیکھ لیا اور اسے کمپنی کے مرکزی تحقیقی گروپ میں فوراً شامل کر لیا گیا۔ تعیناتی کے پہلے ہفتے میں ہی، اس نے تمام روایات توڑ دیں اور Kimi کے اندر 48 گھنٹوں کے انتہائی ہیکتھون میں کل چینپئن بن گئے۔

کیمی کی ٹیکنیکل رپورٹ میں، دو انگنگ کا نام ہمیشہ سب سے آگے آتا ہے۔ وہ مہینے کے اندھیرے کے متعدد ماڈل سسٹم کے مرکزی رکن میں سے ایک ہیں، اور کیمی ٹیکنیکل رپورٹ میں صرف کچھ ہی ایسے تحقیق کار ہیں جنہوں نے پانچویں نسل میں مکمل شرکت کی ہے۔ انہوں نے دو بار ٹیم کے نام کے بعد پہلی جگہ حاصل کی ہے، جس سے اندازہ لگایا جاتا ہے کہ ان کا کیمی K3 میں مرکزی حصہ بصری شعبے میں ہے۔

ڈو اانگ نے مہینے کے اندھیرے حصے میں شامل ہونے سے پہلے کمپیوٹر ویژن کے شعبے میں دو اہم بنیادیں رکھ لی تھیں۔

ایک تو پانی کے نیچے مائیکروسکوپی ویژن کے شعبے میں گہری ماہری۔ میں نے چین کے سمندری یونیورسٹی کے پانی کے نیچے ویژن لیب میں سات سال تک اپنی پڑھائی کی، جہاں میں نے بہت مشکل فلوٹنگ مائیکرو اورگنزمز کی مائیکرو امیج کلاسیفیکیشن پر کام کیا — جہاں امیجز غیر واضح، نمونے کم اور物种 کے فرق بہت ہلکے ہوتے ہیں، وہاں AI کو سمندر کے سب سے چھوٹے جانداروں کو درست طریقے سے پہچاننا ہوتا ہے۔

2020 میں، اس نے Global OCEANS میں پہلے مصنف کے طور پر متعلقہ تحقیق شائع کی، جس میں دوسرے درجے کے خصوصیات کے ماڈلنگ کے ذریعے باریک بینی والی طبقہ بندی کے مسئلے کو حل کیا گیا، جو لیب کے گزشتہ دس سالوں کے اس سمت کی تحقیق میں واحد ایسا نتیجہ ہے جس میں ماسٹرز کا طالب علم پہلے مصنف کے طور پر شامل ہوا۔

اس کی کھدّر ٹیکنالوجی کے دوران کی گئی پیداوار صنعتی اثر کے لحاظ سے زیادہ اہم ہے۔ اس نے متعدد ہستیوں کے ہندسی تخمینے کے تحقیقی مضمون میں حصہ لیا، جسے کمپیوٹر ویژن کے اعلیٰ کنفیرنس ECCV 2020 میں شامل کیا گیا، اور اس پر تقریباً 300 سے زائد حوالہ جات ہوئے ہیں، جو جسمانی ہندسہ تخمینے کے شعبے میں ایک اہم حوالہ بن گیا ہے۔ اس کام کے تعاون کرنے والوں کی فہرست میں سن جیان، چانگ شانگیو جیسے ویژن شعبے کے لیڈرز کے ساتھ ساتھ بعد میں مون آف دارک نیم کے مشترکہ بانی زہو شن یو بھی شامل ہیں۔

کیمی میں شامل ہونے کے بعد، اس نے ویژوئل اینکوڈر ڈیزائن، متعدد ماڈلیٹی کی مطابقت اور ویژوئل ایجینٹ ٹیکنالوجی پر توجہ مرکوز کی، خاص طور پر اعلیٰ وضاحت والی تصاویر کی سمجھ، لمبے سلسلے والے ویڈیوز کا تجزیہ اور متعدد ماڈلیٹی کی تقویت سیکھنے میں ماہر ہے، جو کیمی کی اصل متعدد ماڈلیٹی صلاحیتوں کا بنیادی ٹیکنالوجی ڈھانچہ ہے۔ اس کے علاوہ، اس کی صلاحیتیں بڑے ماڈل ٹریننگ انفراسٹرکچر تک پھیل گئیں — آپٹیمائزر کی استحکام سے لے کر ایجینٹ ڈیٹا سنتھیسس تک، جس سے بنیادی ویژوئل الگورتھمز سے لے کر ماڈل ٹریننگ اور پھر اعلیٰ سطح کے ایجینٹس کے عملی استعمال تک ایک مکمل سٹیک کا گھر بن گیا۔

2025 میں، اس نے کیمی-ول کے ساتھ پہلے مصنف کے طور پر ایک اوپن سورس ملٹی مودل ماڈل جاری کیا، جس میں اپنے آپ کے تیار کردہ مون ویٹ ویژول اینکوڈر اصلی طور پر انتہائی اونچی ریزولوشن کے ان پٹ کو سپورٹ کرتا ہے، اور 128K لمبے کانٹیکسٹ کے ساتھ مل کر، کیمی کو لمبے ویڈیوز اور لمبے دستاویزات کو پڑھنے کی ملٹی مودل لمبے ٹیکسٹ سمجھنے کی صلاحیت حاصل ہوئی، جس نے کیمی کے تمام ملٹی مودل صلاحیتوں کے لیے ٹیکنالوجی کا بنیادی ڈھانچہ تعمیر کیا۔

K2 مرحلے میں، اس نے MuonClip آپٹیمائزر کے ترقی میں گہری شرکت کی، QK-Clip مکانیزم کے ساتھ مل کر بڑے ماڈل ٹریننگ کے لیے صنعت کے مسائل کو حل کیا، جس سے 15.5 ٹریلین ٹوکن کی بہت بڑی ٹریننگ کو "صفر نقصان والے پیک" حاصل ہوا، جس سے ٹریننگ کی کمپوٹیشنل لاگت اور خطرہ کافی حد تک کم ہوا؛ K3 مرحلے میں، اس نے جو ذکی ایجینٹ ڈیٹا سنتھیسس پائپ لائن کی قیادت کی، اس سے ماڈل خود بخود اعلیٰ معیار کے ٹریننگ ڈیٹا کو جنریٹ کر سکتا ہے، جس نے K3 کو پروگرامنگ، ایجینٹس اور دیگر سخت ٹاسکس میں عالمی پہلے گروپ میں شامل ہونے کے لیے اہم ڈیٹا کا بنیادی حامی فراہم کیا۔

کیمی کے لیے، اس کا کردار بہ متعدد ماڈل صلاحیتوں کی پوری ترقی کے راستے میں شامل ہے۔

قُو بُو وِن (Bowen Qu / Brian Qu) ماڈل کے پوسٹ-ٹریننگ ٹیم کے رکن ہیں، جنہوں نے ہوازھونگ سائنس اور ٹیکنالوجی یونیورسٹی سے بیچلر آف سائنس کی ڈگری حاصل کی اور پکنگ یونیورسٹی سے ماسٹرز کی ڈگری حاصل کی۔ ان کا تحقیقی مرکز متعدد ماڈلز پر مرکوز ہے، جس میں متعدد ماڈل ری انفورسمنٹ لرننگ، وژن لینگویج ماڈلز، AI ایجینٹس اور AIGC مواد کی معیار کا جائزہ شامل ہے۔

مہینے کے اندھیرے حصے میں شامل ہونے کے بعد، چو بون ون کا مرکزی کام کیمی سیریز ماڈلز کی متعدد ماڈل صلاحیتوں کی تعمیر پر مرکوز رہا، کیمی-کے 2.5 پروجیکٹ میں گہرائی سے شرکت کی اور اصل متعدد ماڈل طاقت بڑھانے والی سیکھنے کے رخ پر تحقیق میں حصہ لیا۔ کیمی-کے 2.5 مہینے کے اندھیرے حصے کی طرف سے جاری کیا گیا اصل متعدد ماڈل ذہنی ایجینٹ ماڈل ہے، جس کا کل پیرامیٹر سائز 1 ٹرین ہے اور فعال پیرامیٹرز 32 بیلین ہیں۔

جو بونوین کی ذمہ داری میں نشوونما پائی گئی اصلی بہ متعدّد ماڈل طاقت کا نظام، روایتی بہ متعدّد ماڈل کے عام طریقہ کار کو چھوڑ دیتا ہے جس میں پہلے ویژوئل سپروائزڈ فائن ٹیوننگ مکمل کی جاتی ہے اور پھر طاقت کا سیکھنا شروع ہوتا ہے، اور صرف متن کے استدلال ماڈل سے شروع کرتے ہوئے، ویژوئل طاقت کے ذریعہ براہ راست ویژوئل استدلال کی صلاحیت حاصل کرنے کا ایک تربیتی منصوبہ پیش کرتا ہے، جس سے کم معیار کے ویژوئل ڈیٹا کے ماڈل کی اصل زبانی استدلال صلاحیت پر مضر اثرات سے بچا جا سکتا ہے۔

چو بون ون کا تحقیق AIGC مواد کی معیار کی تشخیص پر شروع ہوا، جس کے متعلقہ نتائج ICME 2024، CVPRW 2024 جیسے بین الاقوامی کانفرنسز میں شائع ہوئے۔ ICME 2024 میں شائع ہونے والی متعلقہ تحقیقی مقالہ، جس نے AI جنریٹڈ تصاویر کے جائزے کے نظام میں صرف تصویری خوبصورتی اور واضحیت پر توجہ دی جانے کے باوجود، تخلیقی مواد اور صارف کے حکم کے درمیان مطابقت کو نظرانداز کیا، اس مسئلے کو حل کرنے کے لیے متن کے پرومپٹس کو جنریٹڈ تصویر کے معیار کے جائزے کے نظام میں شامل کرنے کا پیشکش کیا، جس سے بصری معیار اور حکم کی پابندی دونوں کو شامل کرتے ہوئے ایک نئی جائزہ معیار تعمیر کیا گیا، جس سے AI جنریٹڈ مواد کے جائزے کی شمولیت اور انسانی ادراک کے ساتھ مطابقت میں اضافہ ہوا۔

چو بون ون کو کیمی سیریز کے متعدد ماڈل ورژن کے شریکوں کی فہرست میں بھی شامل کیا گیا ہے۔ نوجوان تحقیق کار کے طور پر، چو بون ون کا تحقیقی راستہ تقویم نظام کے ڈیزائن سے شروع ہو کر ماڈل کی صلاحیتوں کے تعمیر تک جاتا ہے، اور پھر اعلیٰ ذہانت والے ایجینٹس کی ترقی تک پہنچتا ہے، جس کے نتائج صنعت کی عملی ضروریات سے بہت قریب ہیں اور پیداواری سطح کے ماڈلز کے ترقی اور اپ گریڈ میں ب без تعاون فراہم کرتے ہیں۔

کیمی K3 کی 400 سے زائد شریکوں کی فہرست میں، لُ اینزھے سب سے آگے نام نہیں ہے، لیکن اس کے اقدامات بہت دقیق تھے۔ ہر کام بڑے ماڈل کے عملی استعمال کے مرکزی مسائل پر ٹھیک ٹھیک گیا، اور وہ کیمی کے موثر کمپوٹنگ سسٹم کے اہم ترین ڈیزائنر تھے۔

لُ اینزھے کے تحقیقی رجحان کو تین الفاظ میں مکمل طور پر خلاصہ کیا جا سکتا ہے: لمبا، تیز، محفوظ — مرکزی مقصد یہ ہے کہ بڑے ماڈلز لمبے متن کو کم لاگت اور تیز رفتاری سے پروسیس کریں۔ کِمی کے لیے، وہ تربیت سے لے کر استدلال تک کی پوری لینک کی کارکردگی میں اضافہ کا ذمہ دار ہے۔

فبروری 2025 میں، اس نے پہلے مصنف کے طور پر MoBA مکسڈ بلاک اٹینشن میکنزم جاری کیا، جس نے MoE کے اسپیشلسٹ چوائس کے خیال کو اٹینشن لیئر میں منتقل کیا، تاکہ ماڈل درخواست کو معالجہ کرتے وقت صرف سب سے متعلقہ کنٹیکسٹ بلاکس کو کمپیوٹیشن کے لیے بلائے۔ 95% اسپارسٹی پر اس کا اثر مکمل اٹینشن کے برابر تھا، جس سے لاکھوں ٹوکن کے انفرینس میں 6.5 گنا تیزی اور کروڑوں ٹوکن کے انفرینس میں 16 گنا تیزی حاصل ہوئی، جس نے کیمی کی فوق العادہ لمبی کنٹیکسٹ صلاحیت کی بنیادی ساخت کو مستحکم کر دیا۔

جس دن یہ تحقیقی مقالہ جاری ہوا، اسی دن ڈیپ سیک کا NSA مقالہ بھی سامنے آیا، جس سے وہ سال کے اندر بڑے ماڈلز کے گروپ میں سب سے زیادہ توجہ کا مرکز بن گیا؛ اس کی انجینئرنگ کی قدر کو یہ بھی ظاہر کرتا ہے کہ NeurIPS 2025 میں اسے Spotlight مقالہ کے طور پر شامل کیے جانے سے پہلے، یہ حل پہلے سے Kimi کے پیداواری ماحول میں تقریباً ایک سال تک لمبے کانٹیکسٹ صارفین کے درخواستوں کو مستقل طور پر سنبھال چکا تھا۔

اس کے علاوہ، MoBA سے لے کر Kimi Linear تک کے KDA توجہ میں، اس نے ہارڈویئر انفرینس کی کارکردگی کو مکمل طور پر بہتر بنانے پر توجہ دی؛ ٹریننگ کی طرف سے، اس نے Muon آپٹیمائزر کے ڈسٹریبیوٹڈ ایمپلیمنٹیشن میں میموری استعمال کو بہتر بنایا اور مواصلات کا اخراج کم کیا، جس سے بڑے ماڈلز کی ٹریننگ کی کمپوٹیشنل لاگت میں اصل میں کمی آئی۔ AttnRes اور K1.5، K2، Kimi-VL جیسی متعدد نسلوں کے ٹیکنیکل رپورٹس کو شامل کرتے ہوئے، اس کے مقالات高效 بڑے ماڈلز کے پورے لینک میں ٹیکنالوجی کو مکمل طور پر کور کرتے ہیں۔

ٹیم کے اندر، وہ MoBA پیپر کے مخاطب مصنف میں سے ایک، چیو جی چونگ، کے ساتھ مستقل شراکت دار ہے، ایک حملہ کرتا ہے اور دوسرا رہنمائی کرتا ہے، اور وہ بہت اچھی طرح سے مل کر کام کرتے ہیں۔

وانغ یوژی مونشٹ آئی کی ایک ریسرچر ہیں اور کیمی سیریز ٹیکنیکل رپورٹس میں سب سے زیادہ نمایاں ناموں میں سے ایک ہیں۔

2025ء کے جنوری کے K1.5 سے لے کر 2026ء کے جولائی کے Kimi K3 تک، اس کا نام اس کمپنی کے تقریباً ہر ٹیکنیکل دستاویز پر موجود ہے، جس میں ویژول، آڈیو، توجہ کے اسکیم، ٹریننگ آپٹیمائزرز، فلگشپ ماڈلز اور ایڈوانسڈ AI رائس گورننس فریم ورکس شamil ہیں۔

وہ شیآن الیکٹرانک سائنس اور ٹیکنالوجی یونیورسٹی سے بیچلر، چنگہوا یونیورسٹی کے الیکٹرانک انجینئرنگ ڈپارٹمنٹ سے ڈاکٹریٹ ہے، اور اس نے کوانگشی ریسرچ انسٹیٹیوٹ میں ریسرچ انجینئر کے طور پر کام شروع کیا؛ 2024 میں وہ مہ کے اندھیرے سائیڈ میں ریسرچر کے طور پر شامل ہوئے اور اب تک وہیں ہیں۔

مہینے کے اندھیرے حصے میں شامل ہونے سے پہلے، اس کا تحقیقی کام کمپیوٹیشنل فوٹوگرافی اور بنیادی بصری ٹیکنالوجی پر مرکوز تھا۔ اس کی نمایاں کامیابیاں درج ذیل ہیں: ECCV 2020 میں پہلے مصنف کے طور پر موبائل ڈیوائس پر RAW تصویر نوائس کم کرنے والی تحقیقی تحریر، جو آج بھی موبائل امیجینگ کا ایک معیاری کام ہے؛旷视 ٹیم کے حصہ کے طور پر NTIRE 2019 ریئل امیج نوائس چیلنج میں raw-RGB ٹریک میں عالمی چیمپئن بننا؛ اور مشترکہ مصنف کے طور پر OCR شعبے کے مشہور کام EAST (CVPR 2017، زیادہ سے زیادہ 2500 بار حوالہ دیا گیا) میں شرکت۔

ماہ کے اندھیرے حصے کے دوران، اس نے دس ٹیکنیکل دستاویزات پر دستخط کیے، جن میں شامل ہیں: k1.5، K2، K3، Kimi-VL، Kimi-Audio، MoBA، Muon، Kimi Linear، اور Attention Residuals کے چار آرکیٹیکچر اور کارکردگی کے پیپرز، ساتھ ہی ایک ایڈوانسڈ AI ریسک مینجمنٹ فریم ورک۔

یہ قابل ذکر ہے کہ کمپنی کی تمام چار ساخت اور کارکردگی کی تحریروں میں وہ مصنف کے طور پر شامل ہیں، جو تقریباً چار سو افراد کی شریک فہرست میں کم ہی دیکھا جاتا ہے۔ K3 میں اس کے مخصوص فرائض اب تک عوامی نہیں ہیں۔

ماؤ شاوگوان کیمی ایجینٹ ٹیکنالوجی لائن کے مرکزی اہم رکن ہیں، جنہوں نے K2، K2-Thinking، K2.5، اور K3 چاروں نسلوں کی ٹاپ لائن ترقی میں مکمل طور پر شرکت کی ہے، اور یہ صنعت کے کم ہی افراد میں سے ایک ہیں جنہوں نے ایجینٹ صنعت کے دو بار کے پیرادائم تبدیلی کا مکمل تجربہ حاصل کیا ہے۔

اس سے پہلے کہ وہ مہینے کے اندھیرے حصے میں شامل ہوا، وہ ملک کے پہلے گروہ میں سے ایک تھا جس نے ایجنٹس کو لاگو کیا تھا۔

چینگہوا یونیورسٹی سے کمپیوٹر سائنس میں ماسٹر کی ڈگری حاصل کی، جس دوران ان کا رینک 0.2% کے اوپر رہا اور انہیں قومی شالر شپ ملی۔ انہوں نے بعد میں ہانگ کانگ کریشین یونیورسٹی میں ریسرچ اسسٹنٹ کے طور پر اور مائیکروسافٹ ایشین ریسرچ انسٹی ٹیوٹ کے سپیچ گروپ میں انٹرن شپ کی۔ فارغ التحصیل ہونے کے بعد، وہ مائیکروسافٹ میں تقریباً چھ سال تک کام کرتے رہے، جہاں وہ ریسرچ انجینئر سے لے کر سینئر ریسرچ انجینئر تک پہنچے۔

2023 کے شروع میں، TaskMatrix.AI کے ترقی میں شرکت کیا، جس میں ChatGPT کو لاکھوں API کی صلاحیتیں فراہم کی گئیں؛ اس کے بعد، Solo Performance Prompting کا طریقہ ملکہ کیا جس سے ایک منفرد ماڈل متعدد کرداروں کو ادا کرکے متعدد ذہین ایجینٹس کے تعاون کو محاکہ کرتا ہے، جس کی متعلقہ ٹیکنالوجی Microsoft 365 Word میں لاگو ہوئی۔

وہ ایجینٹ کے "فریم ورک کے دور" تھے — تمام صلاحیتیں باہری ٹولز کے ذریعے جوڑی جاتی تھیں اور پرومپٹس کے ذریعہ ہدایت کی جاتی تھیں، اور وہ اس ٹیکنالوجی کے راستے کے معاصر اور تعمیر کرنے والے تھے۔

لیکن اس راستے کو خود چھوٹے ہاتھوں سے گزارنے والے ماؤ شاوگوانگ نے سب سے پہلے پرانے طریقہ کار کی حدود کو سمجھ لیا۔ جون 2025 میں، اس نے زhihu پر ایک صنعتی خود اعتراف لکھا: "یہ راستہ آہستہ آہستہ بے معنی ہوتا جا رہا ہے، جیسے کہ یہ تیزی سے موت کی طرف بڑھ رہا ہو۔"

2025ء کے فروری میں مون آف دی دارک میں شامل ہونے کے بعد، اس نے مکمل طور پر "ماڈل جیسا ایجنٹ" کی مکمل راہ اختیار کر لی۔ صرف چار ماہ میں، اس نے کیمی کا پہلا ایجنٹ مصنوعہ، کیمی ریسرچر، تیار کرنے میں حصہ لیا:

کسی بھی پیش گئے عمل کے مطابق نہیں، بلکہ مکمل طور پر اینڈ تو اینڈ ری انفورسمنٹ لرننگ سے تربیت یافتہ، ایک منفرد کام کو اوسطاً 23 مرحلوں کی استدلال کے ساتھ مکمل کرتا ہے، 206 ویب صفحات کو خود کار طور پر اسکین کرتا ہے، اور معیاری حوالہ جات کے ساتھ 10,000 الفاظ کی تحقیقی رپورٹ تیار کرتا ہے، جس نے HLE بینچ مارک پر 26.9% کا اسکور حاصل کیا اور اس وقت عالمی سطح پر سب سے بلند سطح کو نئی حد تک پہنچایا۔ وہ اس مصنوعات کی آفیشل ٹیکنیکل سلف رپورٹ کے دو نامزد مصنفین میں سے ایک بھی ہیں۔

اس کے بعد، K2 سے K3 تک کی چاروں نسلوں کے فلگشپ ریسرچ اور ترقی میں، وہ مکمل طور پر شامل رہا۔ HLE اشاریہ 8.6% سے بڑھ کر 26.9% ہو گیا، جو تقریباً بالکل تقویت سیکھنے سے چلنے والی اس کارکردگی کی منحنی، اس کی نئی تکنیکی راہ کا نتیجہ ہے۔

بڑے ماڈل کے لیے API کے ذریعے صلاحیتیں مزید بڑھانے سے لے کر ماڈل کو ٹولز کا استعمال کرنے اور خودکار طور پر پیچیدہ کاموں کو مکمل کرنے کی صلاحیت حاصل کرنے تک، ماؤ شاوگوانگ کی قریب دس سالہ پیشہ ورانہ سفر، ایجینٹ صنعت کے "اسمبلي اور مجموعہ" سے "اصلی طور پر نشوونما" تک کے مکمل تصور کو ظاہر کرتی ہے۔ وہ پرانے طریقہ کار میں شریک رہ چکے ہیں اور نئے راستے پر بھی قدم رکھ چکے ہیں، اس لیے ان کا صنعت کے بارے میں جائزہ، سب سے مضبوط عملی نتائج پر مبنی ہے۔

چن رُویو ایک کلیئر یونیورسٹی کے کمپیوٹر سائنس ڈپارٹمنٹ کے MADSys لیب میں مسلسل فلیسک ڈاکٹریٹ طالب علم ہیں، جن کے سپروائزر اسٹین فنگ چانگ پروفیسر ہیں۔ ان کا تحقیقی محور موثر مشین لرننگ سسٹمز پر مرکوز ہے، جس میں بڑے پیمانے پر ڈسٹریبیوٹڈ لارج لینگویج مڈلز کی انفرنس سروسز اور رینفورسمنٹ لرننگ رول آؤٹ سسٹمز شامل ہیں۔

چن رُویو اور مون کیک ٹیم کے تعاون سے تیار کیا گیا مونکیک، KVCache پر مبنی ایک الگ تھلگ استدلال اسکیما ہے۔ یہ اسکیما Prefill اور Decode مراحل کو الگ الگ کلัสٹرز پر چلاتی ہے، جبکہ GPU کلัสٹرز میں استعمال نہ ہونے والے CPU، میموری اور SSD وسائل کو ڈسٹریبیوٹڈ کیش پول میں ضم کرتی ہے۔ اس کام کو اسٹوریج کے شعبے کے سب سے بڑے کانفرنس FAST 2025 میں ایرک ریڈل بہترین پیپر ایوارڈ ملا۔

Mooncake ایک عملی، پروڈکشن لیول سروس پلیٹ فارم ہے، جس کے تحقیقی مقالے کے خلاصے کے آغاز میں واضح طور پر لکھا گیا ہے کہ "Mooncake Kimi کے لیے سروس پلیٹ فارم ہے۔" حقیقی کاروباری لوڈ کے تحت، Mooncake Kimi کی درخواستوں کو معالجہ کرنے کی صلاحیت میں 75 فیصد اضافہ کرتا ہے؛ لمبے سندھ کے مناظر میں، مؤثر درخواستوں کو معالجہ کرنے کی صلاحیت 59 فیصد سے 498 فیصد تک بڑھ جاتی ہے۔ اب تک، یہ سسٹم ہزاروں نوڈس پر ڈپلوئ کیا جا چکا ہے اور روزانہ 100 ارب سے زائد ٹوکنز کو معالجہ کرتا ہے۔

2024 میں، مون آف دارک نے چنگہوا یونیورسٹی کے MADSys لیب کے ساتھ مل کر مونکیک پروجیکٹ (اوپن سورس ریپوزٹری kvcache-ai/Mooncake) کو اوپن سورس کیا، جس تک اب تک GitHub Star کی تعداد 6000 سے زیادہ ہو چکی ہے۔ متعلقہ ڈیٹا اور معلومات arXiv پیپر (نمبر 2407.00079)، چنگہوا کمپیوٹر سائنس ڈپارٹمنٹ کی ویب سائٹ کے اعلان، اور پروجیکٹ کے اوپن سورس ریپوزٹری سے حاصل کی جا سکتی ہیں۔

مون کیک کے بعد، چین یوے کی تحقیق تسلسل سے استدلال نظام کی طرف مزید گہرائی تک جاری رہی۔ اس نے پہلے مصنف کے طور پر سیرر پیپر تیار کیا جو OSDI 2026 میں شامل ہوا، جس نے تقویت سیکھنے کے دوران رول آؤٹ کی ادائیگی کی پابندیوں کو دور کرنے کے لیے رول آؤٹ تقسیم، سیاق و سباق جاننے والی شیڈولنگ اور گروپ سپکولیٹو ڈیکوڈنگ کی تکنیکوں کا استعمال کرتے ہوئے اندرونی رول آؤٹ ٹھیکہ میں 2.04 گنا تک اضافہ اور لمبی پُچھ کی تاخیر میں 72% سے 94% تک کمی لائی۔ دوسرے پہلے مصنف کا پیپر "Prefill-as-a-Service"، KVCache کو عبور-ڈیٹا سنٹر شیرنگ کے نئے نسل کے استدلال ڈھانچے کے خاکے کو متعارف کرایا۔

چن رُویو کو K3 پروجیکٹ کے اہم شرکاء کی فہرست میں بھی شامل کیا گیا ہے۔ بڑے ماڈل کی پروڈکٹ پرفارمنس دو پہلوؤں کی صلاحیتوں پر منحصر ہے: ماڈل ترقی ماڈل کی صلاحیت کی حد طے کرتی ہے، جبکہ سسٹم انجینئرنگ اعلیٰ ہم زمانہ سیناریوز میں سروس کی دستیابی اور عمل کا خرچہ طے کرتی ہے۔

موجودہ بڑے ماڈل صنعت کی مقابلہ کاری، تربیت کی صلاحیتوں کے مقابلے سے آہستہ آہستہ خدمات کی انجینئرنگ صلاحیتوں کے مقابلے کی طرف بڑھ رہی ہے۔ ایک طالب علم کے طور پر، قن رُوی کی اس شعبے میں ٹاپ کانفرنس کے بہترین تحقیقی مقالات کے معیار کا نتیجہ دینا، اس بات پر منحصر ہے کہ اس کی تحقیق ب без تولیدی منظر کے لیے مستقیم طور پر ہدایت کی گئی ہے اور اس کے نتائج حقیقی کاروباری نظاموں میں لاگو ہوئے ہیں۔

ماہ کے اندھیرے حصے کی کیمی ٹیم کے مرکزی ریسرچ اور ڈویلپمنٹ ممبر، جن کا تحقیقی سفر کمپوٹیشنل بائیولوجی، ریکومنڈیشن سسٹمز اور بڑے ماڈلز کے تین شعبوں تک پھیلا ہوا ہے، جنہوں نے کیمی کے تمام نسلوں کے مرکزی ماڈلز کی ٹیکنالوجی کی ترقی میں مکمل طور پر شرکت کی ہے۔

اس نے ابتدائی طور پر چنگہوا یونیورسٹی کے انٹر ڈسپلینری انفارمیشن انسٹیٹیوٹ میں جیان یانگ کے گروپ میں AI کا استعمال کرتے ہوئے دوا کی تحقیق کی۔ 2020 سے 2021 تک، اس کی طرف سے کی گئی انفلوئنزا دوا کے دوبارہ استعمال کے فریم ورک کی تحقیق کو bioRxiv پری پرینٹ اور جرنل "Signal Transduction and Targeted Therapy" میں شائع کیا گیا، جبکہ نیوکلیوکیپس پروٹین سے متعلقہ نتائج "Protein & Cell" میں شائع ہوئے۔

2022 سے 2023 تک، یوان ان مینگ نے ہواوی نوہا کے کشتی لیبارٹری میں تجویز کردہ نظام کے شعبے پر تحقیق کی، جس کے نتائج کئی بین الاقوامی سطح کے اکادمک کانفرنسز میں شائع ہوئے۔ ان میں سے اس نے پہلے مصنف کے طور پر مultiple behavior sequence recommendation سے متعلق تحقیقی مقالہ SIGIR 2022 میں شامل کیا، جبکہ دوسرے تعاونی نتائج CIKM 2022 اور WWW 2023 میں شامل ہوئے۔

مہینے کے اندھیرے حصے میں شامل ہونے کے بعد، یوان ان مین نے کیمی کی متعدد نسلوں کے مرکزی ماڈل اور ٹیکنالوجی پروجیکٹس کی ترقی میں گہری شرکت کی، جن میں عوامی طور پر تصدیق شدہ ناموں والے پروجیکٹس میں کیمی k1.5 رینفورسمنٹ لرننگ ٹیکنالوجی رپورٹ، MoBA ٹیکنالوجی ریسرچ، کیمی-VL ٹیکنالوجی رپورٹ، کیمی K2 بڑا ماڈل ٹیکنالوجی رپورٹ، کیمی لینئر ٹیکنالوجی رپورٹ، کیمی K2.5 ملٹی مادل ماڈل ٹیکنالوجی رپورٹ اور کیمی K3 فلگشپ بڑا ماڈل ٹیکنالوجی رپورٹ شامل ہیں۔

اس کا تعاون تقویتی سیکھنے کی تربیت، بہ متغیر صلاحیتیں، بنیادی ماڈل ڈیزائن، لمبے حوالہ مجموعہ سسٹم سمیت کئی مرکزی ٹیکنالوجی کے شعبوں پر محیط ہے، جو Kimi کے k1.5 سے K3 تک تین نسلوں کے فلگشپ ماڈلز کے ترقیاتی دور کو مکمل طور پر شامل کرتا ہے، اور ٹیم میں ٹیکنالوجی کے سب سے وسیع پہلوؤں پر محیط مرکزی ریسرچ اور ترقیاتی افراد میں سے ایک ہے۔

اب تک، عام ذرائع میں یوان ان منگ کی مہینے کے اندھیرے میں اپنی مخصوص عہدہ اور تفصیلی ریسرچ تقسیم کا انکشاف نہیں ہوا ہے۔ عام طور پر دستیاب ناموں کے راستوں کے مطابق، اس کا عبوری ریسرچ پس منظر اسے بڑے ماڈل کے متعدد ٹیکنالوجی کے شعبوں میں حصہ لینے کی صلاحیت فراہم کرتا ہے، جو Kimi ٹیکنالوجی سسٹم کی ترقی کے دوران ایک اہم مستقل شریک ہے۔

ویہوئین شیں مونکشٹ AI کے ریسرچر ہیں، جن کے تحقیقی رجحانات بڑے ماڈل بنیادی ڈھانچہ، موثر تربیت کے طریقے اور اٹینشن میکنزم کے بہتر بنانے پر مشتمل ہیں۔

ہو ویشین نے کیمی کی متعدد نسلوں کے مرکزی ماڈل اور بنیادی ٹیکنالوجی کے ترقی میں گہری شرکت کی ہے، جس کے公开 نام سے منسلک منصوبوں میں K1.5 سے لے کر K3 تک کی مکمل پروڈکٹ اپ ڈیٹ سیریز شامل ہے۔ مہینے کے اندھیرے نے K3 کے جاری ہونے کے بعد تین بنیادی خود ساختہ ٹیکنالوجیز — میون سیریز آپٹمائزر، کیمی لینئر لینئر اٹینشن، اور اٹینشن ریزڈوئلز — کا اعلان کیا۔ ہو ویشین واحد ایسے افراد میں سے ہیں جن کا نام ان تینوں بنیادی ٹیکنالوجیز کے متعلقہ تحقیقی مقالوں میں درج ہے اور ان کا ترتیب نمبر 15 تک محدود ہے، جو K3 کے آرکٹیکچر کی کارکردگی میں اضافے کا ایک مرکزی ترقیاتی رکن ہیں۔

مخصوص نتائج کے حوالے سے، 2025ء کے فروری میں جاری کیے گئے Muon آپٹیمائزر کے پیپر میں، وہ مصنفین کی فہرست میں 8ویں نمبر پر تھے، جس کی کمپوٹیشنل کارکردگی تقریباً AdamW کی دوگنی ہے، اور اس کے بعد جاری کیے گئے Moonlight ٹریننگ ایمپلیمنٹیشن میں بھی اس کا تعاون شامل تھا؛

2025ء کے اکتوبر میں جاری کیمی لینیئر ٹیکنالوجی پیپر میں، وہ 15ویں نمبر پر تھے، جس میں پیش کی گئی KDA مکینزم KV Cache کے حجم کو 최대 75% تک کم کر سکتی ہے، اور لاکھوں ٹوکن کے سیناریو میں ڈیکوڈنگ تھروٹل کو 최대 6 گنا بڑھا سکتی ہے؛

2026ء کے مارچ میں جاری کیے گئے "Attention Residuals" پیپر (K3 کے دو اہم ڈیزائن نوآوریوں میں سے ایک) میں، وہ تین مشترکہ پہلے مصنفین کے بعد پہلے مرکزی شریک کے طور پر چوتھے نمبر پر تھے، اور متعلقہ ٹیکنالوجی کو Kimi K3 بنیادی ماڈل آرکیٹیکچر میں گہرائی سے ادماج کر دیا گیا ہے۔

اس کے علاوہ، اس کا نام Kimi k1.5 ری انفورسمنٹ لرننگ ٹیکنالوجی رپورٹ، Kimi-VL ٹیکنالوجی رپورٹ، Kimi K2 اور K2.5 ٹیکنالوجی رپورٹس، اور حالیہ Kimi K3 فلگشپ ماڈل ٹیکنالوجی رپورٹ کے تعاون کرنے والوں کی فہرست میں بھی شامل ہے، جس میں بنیادی ماڈل، متعدد ماڈل، اور ری انفورسمنٹ لرننگ سمیت کئی مرکزی ترقیاتی شعبوں میں شامل ہے۔ واضح طور پر بتایا جاتا ہے کہ MoBA پیپر کی مصنفین کی فہرست میں اس کا نام شامل نہیں ہے، اور دونوں کے درمیان کوئی علناً دستیاب ترقیاتی تعلق نہیں ہے۔

اس کے علاوہ، وہ OccDepth تین بعدی سیمانٹک سین کمپلیشن، PVD-AL ایکٹو لرننگ ڈسٹلیشن، اور ACCV 2024 میں ایمپلیسیٹ SDF ریکنسٹرکشن جیسے کئی تین بعدی ویژن کے شعبوں میں شریک رہے ہیں، جن کے اکادمک نتائج ماڈل کمپریشن، 3D ریکنسٹرکشن، اور سیمانٹک سین سمجھنے جیسے کئی تفریعی شعبوں کو کور کرتے ہیں۔

عوامی دستخط والے راستوں کے مطابق، ہو وی شن کا تحقیقی راستہ کلائنٹ سائیڈ ماڈل ڈیپلومنٹ اور تین بعدی بصری احساس سے شروع ہو کر بڑے ماڈلز کی بنیادی ساخت کے نوآوری تک پھیلا ہوا ہے، جس نے لمبے عرصے تک موثر کمپوٹنگ کی طرف توجہ دی ہے اور اس کی ٹیکنالوجی کا دائرہ وسیع ہے، وہ مہینے کے اندھیرے کی بنیادی ٹیکنالوجی سٹیک کی ترقی میں ایک مرکزی مستقل شریک ہے۔

دو چن زھانگ مہینے کے اندھیرے کے مرکزی ریسرچر ہیں اور ٹیم کے اندر تقویت سیکھنے اور استدلال کی صلاحیتوں کو بڑھانے کے لیے مرکزی اور اہم طاقت ہیں۔

وہ اپنا بیچلر ڈگر بیجنگ ہنگٹونگ یونیورسٹی کے انفارمیشن مینجمنٹ اور انفارمیشن سسٹمز پروگرام سے مکمل کیا، اور پھر بڑے ماڈل کے ماہرین کے ہرپس میلٹری اکیڈمی — کلارا یونیورسٹی کے انٹر ڈسپلنری انفارمیشن انسٹیٹیوٹ میں ڈاکٹریٹ کے لیے داخل ہو گئے۔

چنگہوا کے دوران، اس نے مصنوعی ذہانت کے مشہور ماہر جاو ہنگ کے زیرِ نگرانی تعلیم حاصل کی اور مشہور MARS Lab (بہ متعدد موڈل اور خودمختار استدلال لیب) میں شمولیت اختیار کی، جہاں اس نے بہ متعدد موڈل ماشین لرننگ، تقویتی سیکھنا اور بڑے زبانی ماڈلز کے تقویتی مکینزم پر توجہ مرکوز کی۔

ڈاکٹری تعلیم کے دوران، اس نے مرکزی مصنف کے طور پر مشہور "ChatDB" ایکارچیٹیکچر تیار کیا، جس نے "ڈیٹا بیس کو سمبولک میموری ماڈیول کے طور پر استعمال کرکے بڑے ماڈلز کو بڑھانا" کا نئے انداز متعارف کرایا، جس نے اس وقت AI کے اکیڈمک اور صنعتی دنیا میں بڑا رواج حاصل کیا۔

صنعتی سطح کے بڑے سسٹمز کی عملی تجربہ حاصل کرنے کے لیے، اس نے اپنے ڈاکٹریٹ کی تعلیم کے دوران بیجنگ ہائواہو آرٹیفیشل انٹیلی جنس ریسرچ انسٹیٹیوٹ میں انٹرن کے طور پر شمولیت اختیار کی اور بنیادی سسٹم کو صفر سے تعمیر کرنے والے گہرے تحقیقی منصوبوں میں شرکت کی۔ اس سے اسے بہت سارا تجربہ ملتا ہے، خاص طور پر متعدد ماڈلز اور طاقت کے سیکھنے کے شعبوں میں، جس سے اس کے پاس سسٹم اور الگورتھم دونوں کا بنیادی نظریہ ہے۔

اس نے فارغ التحصیل ہونے کے بعد مہینے کے اندھیرے حصے میں شمولیت اختیار کی اور مرکزی ماڈلز کی ٹیکنیکل رپورٹس میں بار بار نظر آیا۔ اس نے طاقتور سیکھنے کے پیمانے کی تحقیق کرنے والی اہم تحقیقی تحریر "Kimi k1.5: Scaling Reinforcement Learning with LLMs" میں ب без تفصیل شرکت کی، اور Kimi K2 اور K2.5 جیسے فلگشپ ماڈلز کی ٹیکنیکل رپورٹس میں بھی اہم کردار ادا کیا۔

اس نے کیمی متی ماڈل "Kimi-VL Technical Report" کی ترقی میں ایک مرکزی مشترکہ مصنف کے طور پر گہری شراکت کی، جس میں بڑے ماڈلز کو پیچیدہ تصاویر، گرافس اور حقیقی دنیا کی بصری معلومات کو سمجھنے اور متعدد ماڈل گہرائی والے استدلال کی صلاحیت بڑھانے پر توجہ مرکوز کی گئی۔

دو چن زھانگ کا مرکزی توجہ بڑے پیمانے پر بڑے زبان ماڈلز (LLM) کی تربیت انجینئرنگ پر ہے، جس میں وہ تریلین لیول کے ماڈلز (MoE آرکیٹیکچر) کو سупر کلسٹر میں وسائل کی منصوبہ بندی، مستحکم تربیت اور حد تک سسٹم کے بہترین عمل پر توجہ دیتا ہے؛ اور طاقت کی سیکھنے کے ساتھ متعدد ماڈلز کے ادغام پر تحقیق کرتا ہے، جس میں وہ یہ تحقیق کرتا ہے کہ ماڈل کس طرح پیچیدہ لمبے استدلال کے کاموں میں خود نگرانی اور طاقت کی سیکھنے کے ذریعے ذہانت کی حد کو عبور کر سکتا ہے اور بصری معلومات اور زبانی ماڈلز کا موثر بنیادی ادغام حاصل کر سکتا ہے۔

یانرو چین مہینے کے اندھیرے کے مرکزی تحقیقی محقق ہیں، جو بڑے ماڈلز کی بنیادی ساخت، لمبے متن کی ٹیکنالوجی، کمپیوٹنگ پاور کے بہترین استعمال اور متعدد ماڈل انجینئرنگ کے ترقی اور عمل میں لانے پر توجہ دیتے ہیں۔

اس نے "Attention Residuals" کے مقالے کے مشترکہ مصنف کے طور پر بڑے ماڈلز کی گہرائی کی طرف معلومات کے راستے کو دوبارہ ڈیزائن کیا اور بہت گہرے نیٹ ورکس کی تربیت کی کم ہوشیاری اور معلومات کے راستوں میں رکاوٹوں جیسے صنعتی چیلنجز کو حل کیا۔

لمبے متن کی بنیادی ٹیکنالوجی پر، وہ MoBA (مکسڈ بلاک اٹینشن) کے مشترکہ مصنف کے طور پر، کیمی کی سب سے اہم بنیادی مکینزمز کے ترقی میں قیادت کرتے ہوئے شریک ہوئے، جہاں بلاک لیول اٹینشن کی تقسیم کے ذریعے، لاکھوں کے طویل کنٹیکسٹ کے تربیت اور استدلال کے دوران زیادہ کمپوٹیشنل کوسٹ کا ب без حل تھا، جو کیمی کے لیے حد تک لاگت کم اور کارکردگی بڑھانے کا بنیادی ستون بن گیا۔

اسی دوران، وہ مضمون "Muon is Scalable for LLM Training" کے مشترکہ مصنف بھی ہیں، جنہوں نے مہم چلنے والے اوپن سورس پروجیکٹ Moonlight اور اس کے بنیادی Muon آپٹیمائزر کی ترقی میں گہری شرکت کی، جس میں میٹرکس آرٹھوگونلائزیشن کے ذریعے ٹریڈیشنل AdamW کو چیلنج کیا گیا اور ڈسٹریبیوٹڈ ٹریننگ میں تریلین پیمائش کے ماڈلز کے کمپوٹیشنل اخراجات کو مؤثر طریقے سے کم کیا گیا۔

فلاگشپ ماڈل کی ترقی کے دوران، اس نے کیمی کے تمام پچھلے مرکزی فلگشپ (k1.5، K2، K2.5، K3) کے مکمل ترقیاتی زندگی کو گہرا اندرونی بنایا اور ماڈل کی بڑے پیمانے پر تقویت سیکھنے اور تریلین پیرامیٹرز کے اضافے کے تحت استحکام اور وسائل کی تفویض کے مسائل کو حل کیا۔

اس کے علاوہ، کیمی کے بہ متعدد ماڈل (لینیئر، وی ایل، آڈیو) ٹیکنالوجی کے ترقی میں، اس نے غیر روایتی ٹرانسفارمر سٹرکچر کے لیے لینیئر توجہ کے نوٹیشن کا جائزہ لیا اور کیمی کے ویژول اور آڈیو متعدد ماڈل ٹیکنالوجی رپورٹس کے انجینئرنگ عمل کو آگے بڑھانے کا رہنمائی کیا، جس سے متعدد ماڈل معلومات کے نچلے سطح پر ادغام کے دوران موثر طریقے سے کارکردگی کی پابندیوں کو دور کیا گیا۔

لیو شاووی چینگہوا یونیورسٹی کے ٹاپ کمپیوٹر سسٹمز لیب، MADSys لیب کا ایک مرکزی رکن ہے، اور ساتھ ہی مون آف دی دارک کے مرکزی انفراسٹرکچر (Infra) ٹیم کے لیڈ ایکسپرٹ بھی ہیں۔

جب آپ یہ محسوس کرتے ہیں کہ کیمی کے پاس تریلینوں پیرامیٹرز ہیں، لیکن اس کی API قیمت بہت کم ہے، تو اس کے پیچھے اس کی ٹیم کا "بہترین کوانتیٹیٹو آرٹ" ہے۔ وہ سالوں سے تریلین سطح کے بڑے ماڈلز کے بہترین کم لاگت والے انفرینس، نیچے کوانتیٹیٹیشن، اور بڑے پیمانے پر ڈسٹریبیوٹڈ کمپیوٹنگ ٹاپولوجی ڈیزائن میں مصروف ہیں۔

گلوبل سب سے زیادہ ٹیکنیکل AI اوپن سورس کمیونٹی Reddit LocalLLaMA پر، اس نے Kimi کے افسراندی ماہر کے طور پر، بیرونی ٹیک گروہ میں بڑا اثر ڈالنے والی تکنیکی تفصیل والی لمبی مضمون "Kimi infra team: Quantization is not a compromise, it's the next paradigm" شائع کی۔ اس لمبی مضمون نے Kimi K2 اور K2.5 کے نیچے کے، بہت ہی ٹیکنیکل Native INT4 نیٹو کوانتائزیشن فارمیٹ کو گہرائی سے افشا کیا۔

وہ MoBA (مکسڈ بلوک اٹینشن میکنزم) کے مرکزی مصنفین میں سے ایک ہیں اور Moonlight اور اس کے بنیادی Muon آپٹیمائزر کی ڈسٹریبیوٹڈ آرکیٹیکچر کی ترقی میں گہری طور پر شامل ہیں، جہاں میٹرکس آرتوگونلائزیشن کے ذریعے ترلین ڈیپ لرننگ ماڈلز کے ڈسٹریبیوٹڈ ٹریننگ کے دوران کمپوٹیشنل کوسٹ کو بہت زیادہ کم کیا گیا۔

وہ مہینے کے اندھیرے پہلو کے اہم اوپن سورس پروجیکٹ KTransformers کے مرکزی شروع کنندہ اور کوڈ مینٹینر میں سے ایک بھی ہیں، جنہوں نے خود ہی ہeterogeneous کلستر میں تریلین MoE ماڈل کے مکسڈ انفرنس کے لیے کمپیوٹنگ باریئر کو ختم کیا ہے۔

چن گواندو، مہینے کے اندھیرے پہلو کے انفراسٹرکچر ٹیم کے مرکزی ریسرچر ہیں۔ وہ "سسٹم + الگورتھم" کے درمیان عبوری ریسرچ اور ڈویلپمنٹ کی انتہائی مضبوط صلاحیت رکھتے ہیں، اور ان کا تحقیقی شعبہ بڑے ماڈل انفراسٹرکچر، موثر توجہ مکینزم آرکیٹیکچر، بڑے ماڈل فائن ٹیوننگ کو تیز کرنا، اور بڑے پیمانے پر ذخیرہ اور تلاش کو بہتر بنانا پر مرکوز ہے۔

وہ نے اپنا بیچلر اور ماسٹر دونوں فودان یونیورسٹی کے کمپیوٹر سائنس ڈیپارٹمنٹ سے مکمل کیا، جس سے اسے ڈسٹریبیوٹڈ سسٹمز اور لیئر اسٹرکچر کے شعبے میں مضبوط پیشہ ورانہ بنیاد حاصل ہوئی۔ اس کے بعد، وہ نانیانگ ٹیکنولوجیکل یونیورسٹی اور ہانگ کانگ سائنس اینڈ ٹیکنالوجی یونیورسٹی گیا، جہاں اس نے اعلیٰ پرفارمنس کمپوٹنگ اور بڑے ماڈل انفراسٹرکچر کے مشہور ماہرین یوان بینہانگ اور لو سیکیانگ کے استاد بنے، جس سے اسے جدید ترین اکادمک نظریات اور ریسرچ کا تجربہ حاصل ہوا۔

اس سے پہلے کہ وہ مہینے کے اندھیرے حصے میں شامل ہوئے، وہ ایک ٹاپ انٹرنیٹ کمپنی کے بنیادی مرکزی ڈیپارٹمنٹ میں گہری طور پر مصروف رہا۔ اس نے سابقہ طور پر بائٹڈانس کے ڈیٹا بیس سسٹم ریسرچ ٹیم اور میٹوان کے انفراسٹرکچر ٹیم میں ریسرچ انٹرن کے طور پر کام کیا، جہاں اس نے صنعتی سطح کے ہائی کانکرنس، بڑے پیمانے پر ڈسٹریبیوٹڈ سسٹمز کے ترقی اور آرکیٹیکچر کے بہتر بنانے میں گہرا حصہ لیا۔

اس دوران، وہ ایک مرکزی مصنف کے طور پر دو اہم کاموں کو فوری طور پر شائع کیا۔ بنیادی ذخیرہ کے لیے، اس نے "Oasis" تیار کیا اور شائع کیا، جس میں ایک بہترین غیر تقسیم شدہ تقسیم سیکھنے والے رینج فلٹر کا تصور پیش کیا گیا، جو بنیادی ڈیٹا بیس کو بڑے پیمانے پر رینج کوئریز کے دوران انڈیکس کے بٹل نیک کو حل کرتا ہے؛

اپلیکیشن لیول پر، اس نے "Gar" شائع کیا، جس میں ایک "پیدا کرنا اور ترتیب دینا" کا طریقہ استعمال کرتے ہوئے، بڑے ماڈلز کی انسانی پیچیدہ نیت کو سمجھنے اور اسے SQL ڈیٹا بیس کوئریز میں تبدیل کرنے (Text-to-SQL) کی درستگی میں بڑی حد تک اضافہ کیا گیا۔

چن گواندو نے مارچ 2025 میں مہینے کے اندھیرے حصے میں شامل ہوئے۔ انفراسٹر ٹیم کے ایک مرکزی رکن کے طور پر، وہ نہ صرف مہینے کے اندھیرے حصے کے فلگشپ بڑے ماڈل Kimi K2 اور Kimi K2.5 کے مرکزی مشترکہ مصنفین میں سے ایک ہیں، بلکہ بڑے ماڈل فائن ٹیوننگ کی تیزی، موثر توجہ کے ڈھانچے، اور حتیٰ کہ آخری نیٹ ورک ڈھانچے کی دوبارہ تعمیر جیسے شعبوں میں بھی ایک جاریانہ تکنیکی کامیابی حاصل کی ہے۔

بڑے ماڈلز کے فائن ٹیوننگ کے لیے زیادہ ویڈیو میموری کی ضرورت کو حل کرنے کے لیے، چین گوانڈو نے "Ce-lora" کے عنوان سے ایک تحقیقی مقالہ جاری کیا، جس میں ایک کمپوٹیشنل طور پر موثر LoRA فائن ٹیوننگ طریقہ پیش کیا گیا۔ یہ ٹیکنالوجی بڑے ماڈلز کے پیرامیٹرز کو فائن ٹیون کرتے وقت ویڈیو میموری کے استعمال اور کمپوٹیشنل لاگت کو کم کرتی ہے، جس سے انفراسٹرکچر لیول پر ٹریننگ تھروٹل بڑھ جاتا ہے، جسے بڑے ماڈل فائن ٹیوننگ کا "ویڈیو میموری لائٹننگ" کہا جا سکتا ہے۔

طویل متن کی حسابگاری کی پیچیدگی کے مربعی اضافے کے مسئلے کے سامنے، اس نے کھلے ذرائع کی برادری میں بڑا اثر ڈالنے والی "Kimi Linear" ساخت کے ترقی اور شائع کرنے میں حصہ لیا۔ یہ ایک جامع اور کارآمد لینئر توجہ ساخت ہے جو ماڈل کی طاقتور نمائندگی کی صلاحیت کو برقرار رکھتے ہوئے، طویل متن کی حسابگاری کی پیچیدگی کو بہت زیادہ کم کرتی ہے، جس سے KV Cache (کلید-قدرتی کیش) کا استعمال تکریباً 75 فیصد تک کم ہو گیا اور لاکھوں متن لمبائی پر 6 گنا تک ڈیکوڈنگ ٹھروٹل حاصل ہوا، جو Kimi کی طرف سے طویل متن ٹیکنالوجی کی دیوار پر مستقل محنت کا اہم بنیادی ستون ہے۔

وہ ایٹنشن ریزیڈوئلز کے مشترکہ مصنفین میں سے ایک ہیں۔

چن گواندو کے کیریئر کا سفر، جو سب سے بنیادی اسٹوریج فلٹر سے لے کر کمپیوٹیشنل طور پر موثر فائن ٹیوننگ الگورتھمز اور انقلابی نسل کے بعد کے ٹرانسفارمر نیٹ ورک آرکیٹیکچر تک پھیلا ہوا ہے، موجودہ بڑے ماڈلز کے لیے صرف "پیرامیٹرز کو بڑھانا" سے " cựcی کمپیوٹیشنل کارآمدی اور انجینئرنگ عملیات کی طرف رجحان" کے صنعتی پیرادائم کے ساتھ مکمل طور پر ملتا جلتا ہے۔

ختم ہو گیا

K3 کی ریسرچ اور ڈویلپمنٹ ٹیم ہمیشہ سے گھریلو اور رازدار رہی ہے، اور ہم نے جب ڈیٹا کا جائزہ لیا تو تمام افراد کی مخصوص ذمہ داریوں اور مکمل سرگرمیوں کو الگ الگ طور پر واضح کرنا مشکل تھا۔ لیکن اس بھاری فہرست کے ذریعے، جواب واضح ہو گیا ہے: کیوں مہینے کا اندھیرا حصہ؟ اور وہ اپنے فرد کے لحاظ سے 7 ارب کی عظیم قیمت کو کیسے برقرار رکھ پائے؟

یہ جوان، جن کی اوسط عمر 30 سال سے کم ہے، اصل میں کمپیوٹیشنل اقتصادیات کو سمجھنے والے سسٹم آرکیٹیکٹس ہیں۔ ٹاپ کانفرنس میں بہترین پیپر جیتنے والے اسٹوریج سکیڈولنگ سے لے کر توجہ کے مکینزم کے بنیادی نوآوری تک، وہ "لمبا، تیز، اور محفوظ" انجینئرنگ کارکردگی کو بہترین حد تک پہنچا رہے ہیں۔

یہ بالکل اسی مکمل اسٹیک کا ہے جو اوپری الگورتھم سے لے کر بنیادی ہارڈویئر تک جُڑا ہوا ہے، جس نے مون آف دی ڈارک کو "کمپوٹیشنل پاور ہوموجینیزیشن" کے جادو کو توڑنے کا مرکزی رکاوٹ فراہم کیا ہے۔

ایک دلچسپ بات یہ ہے کہ کل ممبران کی فہرست کے آخر میں، کیمی K3 بھی پورے ریسرچ اور ڈویلپمنٹ ٹیم کا اہم رکن بن گیا۔ موجد اور مخلوق اب ایک ہی فہرست پر ایک ساتھ کھڑے ہو گئے ہیں، چینی بڑے ماڈل کا "سونے کا دور" پہلے ہی آ چکا ہے۔