Swiftlet, 80B Qwen modelini 4,3 GB maksimum bellek ile Mac'te çalıştırmak için küçültüyor

iconKuCoinFlash
Paylaş
AI summary iconÖzet
MetaEra'dan yapılan yeni proje duyurusuna göre, Swiftlet projesi, Qwen3-Next ve diğer MoE modellerini Swift ve Metal kullanarak Mac'ler için optimize etti. Sadece küçük bir yoğun çekirdeği bellekte tutarak uzman ağırlıklarını SSD'den akış halinde yükleyerek, 4-bit Qwen3.6-35B-A3B modeli bir M5 Mac'te sadece 18 GB disk alanı ve 2,6 GB maksimum bellek gerektiriyor ve 7–11 tok/s hızda dekodlama yapıyor. Bu zincir içi haber, tüketicilerin donanımında büyük modellerin verimli dağıtımını vurguluyor.
ME AI Mesajı, Swiftlet projesi, Swift + Metal kullanarak Qwen3-Next gibi MoE modellerini Mac'te maksimum şekilde hafifletir: yalnızca küçük yoğun çekirdekler sürekli aktif kalır, uzman ağırlıkları SSD'de saklanır ve gerekli olduğunda akışlı olarak yüklenir. M5 Mac'te, Qwen3.6-35B-A3B'nin 4-bit sürümü yalnızca 18 GB disk alanı kaplar, tepe bellek kullanımı 2,6 GB'dır ve dekodlama hızı 7–11 tok/s seviyesindedir. (Kaynak: MLion)
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.