Optimizes ni Cursor ang MoK ang GPU pipeline, dinagdagan ng 41% ang MoE training

Ayon sa pagmamasid ng Beating, ang Cursor ay inilabas ang open-source na Mixture-of-Kittens (MoK) upang mapabilis ang pag-train ng malalaking MoE models. Ipinagsasama nito ang mga hiwalay na data transfer at computation sa isang kernel (isang pambabase na programa na tumatakbo diretso sa GPU). Ang MoE ay naghihiwalay ng model sa maraming “mga eksperto,” at bawat beses ay ginagamit lamang ang ilan sa kanila. Ang mga eksperto ay nakalat sa iba’t ibang GPU, kaya kailangan ng madalas na paghahatid ng data, na minsan ay kumukuha ng higit sa kalahati ng oras sa pag-train. Ang MoK ay nagpapahintulot sa GPU na maghahatid ng data habang nagpapatakbo ng computation, na nagpapabawas sa paghihintay. Sa aktwal na pag-train gamit ang 512 na GB300 GPU, tumataas ang kabuuang throughput ng 41%. Sa pagsusuri ng ок MoE layer lamang, pinakamataas na 2.37 beses mas mabilis kaysa sa mga publikong solusyon. Ang MoK ay ginamit na sa pag-train ng Composer ng Cursor na may libu-libong GPU, at inilabas bilang open-source gamit ang Apache 2.0. Kasalukuyang suportado lamang ang NVIDIA Blackwell GPU, at pangunahing direkta sa mga institusyon na may mga cluster ng GB200, GB300 NVL72.