MoK Cursor Mengoptimalkan Pipeline GPU, Meningkatkan Pelatihan MoE sebesar 41%

Menurut pemantauan Beating, Cursor melepaskan Mixture-of-Kittens (MoK) sebagai sumber terbuka untuk mempercepat pelatihan model MoE besar. MoK menggabungkan transfer data GPU dan komputasi yang sebelumnya terpisah menjadi satu kernel (program dasar yang berjalan langsung di GPU). MoE memecah model menjadi banyak "ahli", dan hanya memanggil sebagian kecil dari mereka setiap kali. Ahli-ahli ini tersebar di berbagai GPU, sehingga data perlu sering dipindahkan, yang kadang-kadang memakan lebih dari setengah waktu pelatihan. MoK memungkinkan GPU untuk mentransfer data sambil melakukan komputasi secara bersamaan, mengurangi waktu tunggu. Dalam pelatihan nyata menggunakan 512 GPU GB300, throughput keseluruhan meningkat 41%. Saat diuji secara terpisah pada lapisan MoE, MoK mencapai kecepatan hingga 2,37 kali lebih cepat dibanding solusi publik. MoK telah digunakan dalam pelatihan Composer Cursor yang melibatkan puluhan ribu GPU dan dirilis sebagai sumber terbuka dengan lisensi Apache 2.0. Saat ini hanya mendukung GPU NVIDIA Blackwell, terutama ditujukan bagi institusi yang memiliki klaster GB200, GB300 NVL72.