O MoK do Cursor otimiza o pipeline de GPU, aumentando o treinamento de MoE em 41%

Segundo o Beating Monitor, o Cursor lançou de código aberto o Mixture-of-Kittens (MoK), projetado para acelerar o treinamento de grandes modelos MoE. Ele combina a transferência de dados e o cálculo anteriormente separados em um único kernel (um programa de baixo nível executado diretamente na GPU). O MoE divide o modelo em muitos "especialistas", chamando apenas uma parte deles a cada vez. Esses especialistas estão distribuídos em diferentes GPUs, exigindo transferências frequentes de dados, que às vezes consomem mais da metade do tempo de treinamento. O MoK permite que a GPU transfira dados e realize cálculos simultaneamente, reduzindo o tempo de espera. Em treinamentos reais com 512 GPUs GB300, o throughput geral aumentou 41%. Em testes isolados da camada MoE, o MoK alcançou até 2,37 vezes mais velocidade do que soluções públicas disponíveis. O MoK já está sendo utilizado no treinamento do Composer do Cursor, com dezenas de milhares de GPUs, e foi lançado como código aberto sob a licença Apache 2.0. Atualmente, suporta apenas GPUs NVIDIA Blackwell, voltado principalmente para instituições com clusters GB200, GB300 NVL72.