Cursor's MoK оптимизирует конвейер GPU, увеличивая обучение MoE на 41%

Согласно наблюдениям Beating, Cursor открыл исходный код Mixture-of-Kittens (MoK) для ускорения обучения MoE-моделей. MoK объединяет отдельные операции передачи данных и вычислений на GPU в один kernel (низкоуровневая программа, выполняемая непосредственно на GPU). MoE разбивает модель на множество «экспертов», при этом каждый раз активируется лишь часть из них. Эксперты распределены по разным GPU, что требует частой передачи данных, иногда занимающей более половины времени обучения. MoK позволяет GPU одновременно передавать данные и выполнять вычисления, сокращая время ожидания. В реальных тренировках на 512 GPU GB300 общий throughput увеличился на 41%. При отдельном тестировании слоя MoE скорость превысила лучшие открытые решения в 2,37 раза. MoK уже используется в обучении Composer Cursor на десятках тысяч GPU и выпущен под лицензией Apache 2.0. На данный момент поддерживается только NVIDIA Blackwell GPU, в основном для организаций, обладающих кластерами GB200, GB300 NVL72.