Cursor'un MoK, GPU hattını optimize ederek MoE eğitimini %41 artırıyor

icon MarsBit
Paylaş
AI summary iconÖzet
Cursor, MoE model eğitimi için Mixture-of-Kittens (MoK)’i açık kaynak hale getirdi. MoK, GPU veri aktarımını ve hesaplama işlemlerini tek bir çekirdekte birleştirerek boşta kalma süresini azaltıyor. 512 GB300 GPU’da, eğitim verimliliği %41 arttı. Bu araç, binlerce GPU üzerinde Composer eğitimi sırasında kullanılmaktadır ve Apache 2.0 altında mevcuttur. NVIDIA Blackwell GPU’ları destekler. Zincir içi veriler, AI altyapısına yönelik artan ilgiyi göstermektedir. Zincir içi analizler, büyük ölçekli eğitim kurulumlarında verimlilik kazanımlarını vurgulamaktadır.

Beating İzleme'ye göre, Cursor, MoE büyük modellerin eğitimi hızlandırmak için Mixture-of-Kittens (MoK) adlı açık kaynaklı bir çözümü duyurdu. Bu çözüm, önce ayrı olan GPU veri aktarımı ve hesaplama işlemlerini tek bir kernel (GPU üzerinde doğrudan çalışan alt seviye program) içinde birleştiriyor. MoE, modeli birçok "uzman" parçasına ayırır ve her seferinde sadece bazılarını çağırır. Bu uzmanlar farklı GPU'larda dağılmıştır ve veriler sık sık taşınır; bu da bazen eğitim süresinin yarısından fazlasını tüketebilir. MoK, GPU'ya veri aktarırken aynı anda hesaplama yapma imkanı sunarak bekleme sürelerini azaltır. 512 adet GB300 GPU ile gerçekleştirilen gerçek eğitimde, toplam veri throughput %41 arttı. MoE katmanı yalnızca test edildiğinde, açık kaynaklı çözümlerle karşılaştırıldığında en fazla 2,37 kat daha hızlı çalıştırıldı. MoK, Cursor'un Composer eğitimi için on binlerce GPU'sunda zaten kullanılmaktadır ve Apache 2.0 lisansı altında açık kaynaklı hale getirilmiştir. Şu anda yalnızca NVIDIA Blackwell GPU'ları desteklenmektedir ve ana hedef kitle, GB200 ve GB300 NVL72 kümelerine sahip kurumlardır.

Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.