Swiftlet réduit le modèle Qwen de 80 Go pour l'exécuter sur Mac avec une mémoire maximale de 4,3 Go

iconKuCoinFlash
Partager
AI summary iconRésumé
Une nouvelle annonce de projet de MetaEra révèle que le projet Swiftlet a optimisé Qwen3-Next et d'autres modèles MoE pour les Macs en utilisant Swift et Metal. En chargeant uniquement un petit noyau dense en mémoire et en diffusant les poids des experts depuis le SSD, le modèle Qwen3.6-35B-A3B en 4 bits nécessite seulement 18 Go d'espace disque et 2,6 Go de mémoire maximale sur un Mac M5, avec des vitesses de décodage de 7 à 11 tok/s. Cette actualité sur chaîne met en lumière le déploiement efficace de grands modèles sur du matériel grand public.
ME AI Message, le projet Swiftlet utilise Swift + Metal pour optimiser l'exécution de modèles MoE tels que Qwen3-Next sur Mac : seul un petit noyau dense reste en mémoire, tandis que les poids des experts sont chargés en streaming depuis le SSD selon les besoins. Sur un Mac M5, la version 4-bit de Qwen3.6-35B-A3B occupe seulement 18 Go d'espace disque, avec une mémoire maximale de 2,6 Go et une vitesse de décodage de 7 à 11 tok/s. (Source : MLion)
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.