Según el monitoreo de Beating, Cursor ha lanzado open source Mixture-of-Kittens (MoK) para acelerar el entrenamiento de modelos MoE grandes. MoK combina la transferencia de datos y el cálculo de GPU, que antes eran separados, en un solo kernel (un programa de bajo nivel que se ejecuta directamente en la GPU). MoE divide el modelo en numerosos "expertos", llamando solo a una parte de ellos en cada paso. Estos expertos están distribuidos en diferentes GPU, lo que requiere transferencias frecuentes de datos, a veces consumiendo más de la mitad del tiempo de entrenamiento. MoK permite que la GPU transfiera datos y realice cálculos simultáneamente, reduciendo los tiempos de espera. En entrenamientos reales con 512 GPU GB300, el rendimiento general aumentó un 41%. En pruebas individuales de la capa MoE, MoK alcanzó hasta 2.37 veces más velocidad que las soluciones públicas disponibles. MoK ya se ha utilizado en el entrenamiento de Composer de Cursor con decenas de miles de GPU y se ha liberado bajo licencia Apache 2.0. Actualmente solo es compatible con GPU Blackwell de NVIDIA y está dirigido principalmente a instituciones con clústeres GB200, GB300 NVL72.
Cursor's MoK optimiza la tubería de GPU y aumenta el entrenamiento MoE en un 41%
MarsBitCompartir
Resumen
Cursor ha abierto el código de Mixture-of-Kittens (MoK) para impulsar el entrenamiento de modelos MoE. MoK combina la transferencia de datos y el cálculo en una sola kernel, reduciendo el tiempo inactivo. En 512 GPU B300, el rendimiento de entrenamiento aumentó un 41%. La herramienta ya se utiliza en el entrenamiento de Composer en miles de GPU y está disponible bajo Apache 2.0. Admite GPU NVIDIA Blackwell. Los datos en cadena muestran un creciente interés en la infraestructura de IA. El análisis en cadena destaca las mejoras en eficiencia en configuraciones de entrenamiento a gran escala.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.