動察 Beating の監測によると、Cursor は MoE 大規模モデルの訓練を加速するため、オープンソースの Mixture-of-Kittens（MoK）をリリースしました。MoK は、従来別々に行われていた GPU 間データ転送と計算を、1つのカーネル（GPU 上で直接実行される低レベルプログラム）に統合します。MoE はモデルを多数の「エキスパート」に分割し、毎回その一部のみを呼び出します。これらのエキスパートは異なる GPU に分散しており、データの頻繁な移動が必要で、訓練時間の半分以上を占めることもあります。MoK は GPU がデータ転送と計算を同時に実行できるようにし、待機時間を削減します。512枚の GB300 GPU を用いた実際の訓練では、全体のスループットが41%向上しました。MoE レイヤー単体でのテストでは、公開されている他の手法と比較して最大2.37倍の高速化を達成しました。MoK はすでに Cursor の数万枚の GPU を用いた Composer 訓練に採用されており、Apache 2.0 ライセンスでオープンソース化されています。現在は NVIDIA Blackwell GPU のみをサポートしており、主に GB200、GB300 NVL72 クラスタを保有する機関を対象としています。
CursorのMoKがGPUパイプラインを最適化し、MoEトレーニングを41%向上
MarsBit共有
概要
Cursorは、MoEモデルのトレーニングを促進するために、Mixture-of-Kittens（MoK）をオープンソース化しました。MoKは、GPUデータ転送と計算を1つのカーネルに統合し、アイドル時間を削減します。512枚のGB300 GPUでは、トレーニングスループットが41%向上しました。このツールは、数千枚のGPUにわたるComposerトレーニングで既に使用されており、Apache 2.0ライセンスのもとで利用可能です。NVIDIA Blackwell GPUをサポートしています。オンチェーンデータは、AIインフラへの関心の高まりを示しています。オンチェーン分析は、大規模トレーニング環境における効率の向上を強調しています。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。