根據動察 Beating 監測，Cursor 開源了 Mixture-of-Kittens（MoK），用於加速 MoE 大模型訓練。它將原本分開的 GPU 數據傳輸和計算整合到一個 kernel（直接在 GPU 上運行的底層程序）中。MoE 會將模型拆分成大量「專家」，每次僅調用其中一部分。專家分散在不同 GPU 上，數據需要頻繁搬運，有時會佔用超過一半的訓練時間。MoK 讓 GPU 在傳輸數據的同時進行計算，減少等待時間。在 512 塊 GB300 GPU 的實際訓練中，整體吞吐量提升 41%。單獨測試 MoE 層時，最高比公開方案快 2.37 倍。MoK 已用於 Cursor 數萬塊 GPU 的 Composer 訓練，並以 Apache 2.0 開源。目前僅支援英偉達 Blackwell GPU，主要面向擁有 GB200、GB300 NVL72 集群的機構。
Cursor 的 MoK 優化 GPU 流水線，將 MoE 訓練提升 41%
MarsBit分享
精華摘要
Cursor 已開源 Mixture-of-Kittens (MoK)，以提升 MoE 模型的訓練。MoK 將 GPU 資料傳輸與運算整合於單一核心中，減少閒置時間。在 512 個 GB300 GPU 上，訓練吞吐量提升了 41%。該工具目前已應用於數千個 GPU 的 Composer 訓練，並以 Apache 2.0 授權釋出。它支援 NVIDIA Blackwell GPU。鏈上數據顯示對 AI 基礎設施的興趣日益增加。鏈上分析強調了大規模訓練環境中的效率提升。
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。
虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。