يُحسّن MoK من Cursor خط أنابيب GPU، ويرفع تدريب MoE بنسبة 41%

وفقًا لمراقبة Beating، أطلق Cursor مفتوح المصدر Mixture-of-Kittens (MoK) لتسريع تدريب نماذج MoE الكبيرة. فهو يدمج نقل البيانات والحساب المفصّلين سابقًا على وحدات معالجة الرسومات (GPU) داخل نواة واحدة (برنامج أساسي يعمل مباشرة على وحدة معالجة الرسومات). تقوم نماذج MoE بتفكيك النموذج إلى عدد كبير من "الخبراء"، وتستدعي فقط جزءًا منها في كل مرة. يتم توزيع الخبراء على وحدات معالجة رسومات مختلفة، مما يتطلب نقلًا متكررًا للبيانات، وقد يستهلك أحيانًا أكثر من نصف وقت التدريب. يسمح MoK لوحدة معالجة الرسومات بنقل البيانات أثناء إجراء الحسابات في نفس الوقت، مما يقلل من فترات الانتظار. في تدريب عملي باستخدام 512 وحدة معالجة رسومات GB300، زادت الإنتاجية الكلية بنسبة 41%. عند اختبار طبقة MoE بشكل منفصل، كانت أسرع بواقع 2.37 مرة مقارنة بالحلول المفتوحة المتاحة. تم استخدام MoK بالفعل في تدريب Composer الخاص بـ Cursor الذي يضم عشرات الآلاف من وحدات معالجة الرسومات، وقد تم إصداره كمصدر مفتوح بموجب ترخيص Apache 2.0. حاليًا، يدعم فقط وحدات معالجة الرسومات Blackwell من NVIDIA، وهو موجه بشكل رئيسي للهيئات التي تمتلك مجموعات GB200 وGB300 NVL72.