За даними Beating Monitoring, Cursor відкрив джерела Mixture-of-Kittens (MoK) для прискорення навчання MoE великих моделей. Він об’єднує окремі передачі даних та обчислення на GPU в один kernel (низькорівнева програма, що виконується безпосередньо на GPU). MoE розбиває модель на велику кількість «експертів», при цьому кожного разу використовуючи лише частину з них. Експерти розподілені між різними GPU, що вимагає частого переміщення даних, що іноді займає більше половини часу навчання. MoK дозволяє GPU одночасно передавати дані та виконувати обчислення, зменшуючи очікування. У реальних тренуваннях на 512 GPU GB300 загальна пропускна здатність зросла на 41%. При окремому тестуванні шарів MoE вони працюють швидше на 2,37 рази порівняно з відкритими рішеннями. MoK вже використовується для навчання Composer Cursor на десятках тисяч GPU і випущений під ліцензією Apache 2.0. Наразі підтримується лише GPU NVIDIA Blackwell, основна аудиторія — організації з кластерами GB200, GB300 NVL72.
Cursor's MoK оптимізує конвеєр GPU, збільшуючи навчання MoE на 41%
MarsBitПоділитися
Короткий зміст
Cursor відкрив джерела Mixture-of-Kittens (MoK) для підвищення ефективності навчання моделей MoE. MoK поєднує переказ даних та обчислення на GPU в одному ядрі, зменшуючи час простою. На 512 GPU B300 пропускна здатність навчання зросла на 41%. Цей інструмент вже використовується при навчанні Composer на тисячах GPU і доступний за ліцензією Apache 2.0. Він підтримує GPU NVIDIA Blackwell. Дані на ланцюгу свідчать про зростаючий інтерес до інфраструктури ШІ. Аналіз на ланцюгу підкреслює підвищення ефективності в великомасштабних навчальних системах.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.