কার্সরের MoK জিপিইউ পাইপলাইন অপ্টিমাইজ করে, MoE ট্রেনিং 41% বৃদ্ধি করে

Beating মনিটরিং অনুযায়ী, Cursor একটি ওপেন-সোর্স Mixture-of-Kittens (MoK) প্রকল্প প্রকাশ করেছে, যা MoE বড় মডেল ট্রেনিংকে ত্বরান্বিত করে। এটি আগে আলাদা ছিল GPU ডেটা ট্রান্সফার এবং কম্পিউটেশনকে একটি কার্নেলে (GPU-এ সরাসরি চলে এমন লো-লেভেল প্রোগ্রাম) একীভূত করে। MoE মডেলকে অসংখ্য “এক্সপার্ট”-এ বিভক্ত করে, প্রতিবার শুধুমাত্র কিছু এক্সপার্টকেই কল করে। এই এক্সপার্টগুলি বিভিন্ন GPU-এ বিক্ষিপ্ত থাকে, যার ফলে ডেটা প্রায়শই স্থানান্তরিত হয়, যা প্রায় 50% এরও বেশি ট্রেনিং সময় নিয়ে নেয়। MoK GPU-এর জন্য ডেটা ট্রান্সফার এবং কম্পিউটেশনকে একসাথে করে, যাতে অপেক্ষা কমে। 512টি GB300 GPU-এর বাস্তব ট্রেনিংয়ে, মোট থ্রুপুট 41% বৃদ্ধি পায়। MoE লেয়ারটি আলাদাভাবে পরীক্ষা করলে, এটি পাবলিকলি উপলব্ধ সমাধানগুলির চেয়ে 2.37x দ্রুত। MoK-কে Cursor-এর 10,000-এরওবেশি GPU-এর Composer ট্রেনিংয়ের জন্য ব্যবহার করা হয়েছে, এবং Apache 2.0-এর অধীনেওপেন-সোর্সড। বর্তমানে,এটি শুধুমাত্র NVIDIA Blackwell GPU-এর সমর্থন করে,যা GB200, GB300 NVL72 ক্লাস্টারযুক্ত সংস্থাগুলির জন্য।