MoK de Cursor optimise le pipeline GPU et augmente l'entraînement MoE de 41 %

Selon les observations de Beating, Cursor open-source Mixture-of-Kittens (MoK) pour accélérer l'entraînement des grands modèles MoE. Il fusionne les transferts de données GPU et les calculs, qui étaient précédemment séparés, en un seul kernel (un programme de bas niveau exécuté directement sur le GPU). MoE décompose le modèle en un grand nombre d'« experts », n'appelant qu'une partie à la fois. Ces experts sont répartis sur différents GPU, nécessitant des transferts fréquents de données qui peuvent occuper plus de la moitié du temps d'entraînement. MoK permet au GPU de transférer les données tout en effectuant les calculs, réduisant ainsi les temps d'attente. Sur une configuration réelle de 512 GPU GB300, le débit global a augmenté de 41 %. Lors de tests isolés sur la couche MoE, MoK est jusqu'à 2,37 fois plus rapide que les solutions publiques. MoK est déjà utilisé pour l'entraînement du Composer de Cursor sur des dizaines de milliers de GPU et est open-source sous licence Apache 2.0. Actuellement, il ne prend en charge que les GPU NVIDIA Blackwell et s'adresse principalement aux organisations disposant de clusters GB200, GB300 NVL72.