कर्सर का MoK GPU पाइपलाइन को अनुकूलित करता है, MoE प्रशिक्षण को 41% तक बढ़ाता है

Beating मॉनिटरिंग के अनुसार, Cursor ने MoE बड़े मॉडल ट्रेनिंग को तेज करने के लिए ओपन सोर्स Mixture-of-Kittens (MoK) जारी किया है। यह मूल रूप से अलग-अलग GPU डेटा ट्रांसफर और कैलकुलेशन को एक ही kernel (GPU पर सीधे चलने वाला लो-लेवल प्रोग्राम) में एकीकृत करता है। MoE मॉडल को कई "विशेषज्ञों" में विभाजित करता है, और प्रत्येक बार केवल कुछ ही विशेषज्ञों को सक्रिय करता है। ये विशेषज्ञ विभिन्न GPU पर बिखरे होते हैं, जिससे डेटा की बार-बार स्थानांतरण की आवश्यकता होती है, जिससे कभी-कभी ट्रेनिंग का आधे से अधिक समय खर्च हो जाता है। MoK GPU को डेटा ट्रांसफर करते समय साथ ही कैलकुलेशन करने की सुविधा देता है, जिससे प्रतीक्षा समय कम होता है। 512 GB300 GPU के वास्तविक ट्रेनिंग में, समग्र थ्रूपुट 41% बढ़ गया। MoE परत के अलग-अलग परीक्षण में, MoK सबसे अधिक 2.37 गुना तेज पाया गया। MoK का उपयोग Cursor के लाखों GPU पर Composer ट्रेनिंग में किया जा रहा है, और इसे Apache 2.0 के तहत ओपन सोर्स किया गया है। वर्तमान में, यह केवल NVIDIA Blackwell GPU को समर्थन करता है, और मुख्य रूप से GB200, GB300 NVL72 क्लस्टर वाले संगठनों के लिए है।