Swiftlet reduce el modelo Qwen de 80B para ejecutarse en Mac con un pico de 4.3 GB de memoria

iconKuCoinFlash
Compartir
AI summary iconResumen
Un anuncio de nuevo proyecto de MetaEra revela que el proyecto Swiftlet ha optimizado Qwen3-Next y otros modelos MoE para Macs utilizando Swift y Metal. Al cargar solo un pequeño núcleo denso en memoria y transmitir los pesos de los expertos desde el SSD, el modelo Qwen3.6-35B-A3B de 4 bits requiere solo 18 GB de espacio en disco y 2.6 GB de memoria máxima en una Mac M5, con velocidades de decodificación de 7–11 tok/s. Esta noticia en cadena destaca la implementación eficiente de modelos grandes en hardware de consumo.
ME AI mensaje, el proyecto Swiftlet utiliza Swift + Metal para ejecutar modelos MoE como Qwen3-Next con un tamaño extremadamente reducido en Mac: solo se mantiene activo un pequeño núcleo denso, mientras que los pesos de los expertos se almacenan en SSD y se cargan en flujo según sea necesario. En una Mac M5, la versión de 4-bit de Qwen3.6-35B-A3B ocupa solo 18 GB en disco, con un pico de memoria de 2.6 GB y una velocidad de decodificación de 7–11 tok/s. (Fuente: MLion)
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.