MoK Cursor Mengoptimumkan Saluran GPU, Meningkatkan Latihan MoE sebanyak 41%

Berdasarkan pemantauan Beating, Cursor melepaskan Mixture-of-Kittens (MoK) secara sumber terbuka untuk mempercepat latihan model MoE besar. Ia menggabungkan penghantaran data GPU dan pengiraan yang sebelumnya dipisahkan ke dalam satu kernel (program asas yang berjalan langsung di GPU). MoE memecah model menjadi banyak "pakar", dan hanya memanggil sebahagian daripadanya pada setiap masa. Pakar-pakar ini tersebar di pelbagai GPU, memerlukan penghantaran data yang kerap, yang kadang-kadang mengambil lebih daripada separuh masa latihan. MoK membenarkan GPU menghantar data sambil menjalankan pengiraan, mengurangkan masa tunggu. Dalam latihan sebenar dengan 512 unit GPU GB300, throughput keseluruhan meningkat sebanyak 41%. Semasa ujian berasingan pada lapisan MoE, ia mencapai kelajuan sehingga 2.37 kali lebih pantas berbanding penyelesaian awam. MoK telah digunakan dalam latihan Composer Cursor yang menggunakan beribu-ribu GPU dan telah dibuka sumber secara Apache 2.0. Sementara ini, ia hanya menyokong GPU Blackwell NVIDIA, dan terutamanya ditujukan kepada institusi yang memiliki kluster GB200, GB300 NVL72.