کرسر کا MoK GPU پائپ لائن کو بہتر بناتا ہے، MoE ٹریننگ کو 41% تک بڑھاتا ہے

Beating مانیٹرنگ کے مطابق، Cursor نے MoE بڑے ماڈلز کی تربیت کو تیز کرنے کے لیے اوپن سورس Mixture-of-Kittens (MoK) جاری کیا ہے۔ اس نے اصل میں الگ الگ GPU ڈیٹا ٹرانسفر اور کمپوٹیشن کو ایک ہی کرنل (GPU پر براہ راست چلنے والا بنیادی پروگرام) میں ضم کر دیا ہے۔ MoE ماڈل کو کئی "ماہرین" میں تقسیم کرتا ہے اور ہر بار صرف کچھ حصہ استعمال کرتا ہے۔ یہ ماہرین مختلف GPU پر بکھرے ہوتے ہیں، جس کی وجہ سے ڈیٹا بار بار منتقل ہوتا رہتا ہے، جس سے کبھی کبھی تربیت کا نصف سے زائد وقت ضائع ہو جاتا ہے۔ MoK GPU کو ڈیٹا منتقل کرتے ہوئے اسی وقت کمپوٹیشن بھی کرنے کی اجازت دیتا ہے، جس سے انتظار کم ہوتا ہے۔ 512 GB300 GPU کے عملی تربیت میں، کل تھروٹل 41% بڑھ گئی۔ MoE لیئر کے الگ ٹیسٹنگ میں، یہ عوامی حل سے تکریباً 2.37 گنا تیز نکلا۔ MoK کو Cursor نے اپنے Composer تربیت کے لیے لاکھوں GPU پر استعمال کیا ہے اور اسے Apache 2.0 لائسنس کے تحت اوپن سورس کر دیا گیا ہے۔ ابھی تک صرف NVIDIA Blackwell GPU کو ہی سپورٹ کرتا ہے، جو بنیادی طور پر GB200، GB300 NVL72 کلัสٹرز والے اداروں کے لیے ہے۔