Cursor's MoK tối ưu hóa đường ống GPU, tăng cường đào tạo MoE lên 41%

Theo giám sát của Beating, Cursor đã mở nguồn Mixture-of-Kittens (MoK) để tăng tốc đào tạo mô hình MoE lớn. MoK kết hợp việc truyền dữ liệu GPU và tính toán vốn tách rời thành một kernel (chương trình cấp thấp chạy trực tiếp trên GPU). MoE chia mô hình thành nhiều “chuyên gia”, mỗi lần chỉ kích hoạt một phần trong số đó. Các chuyên gia được phân bố trên nhiều GPU khác nhau, đòi hỏi việc di chuyển dữ liệu thường xuyên, đôi khi chiếm hơn một nửa thời gian đào tạo. MoK cho phép GPU truyền dữ liệu đồng thời thực hiện tính toán, giảm thời gian chờ đợi. Trong đào tạo thực tế với 512 GPU GB300, tổng thông lượng tăng 41%. Khi kiểm tra riêng lẻ lớp MoE, MoK nhanh nhất tới 2,37 lần so với các giải pháp công khai. MoK đã được áp dụng trong đào tạo Composer của Cursor với hàng chục nghìn GPU và đã được mở nguồn theo giấy phép Apache 2.0. Hiện tại chỉ hỗ trợ GPU Blackwell của NVIDIA, chủ yếu nhắm đến các tổ chức có cụm GB200, GB300 NVL72.