Nililiit ng Swiftlet ang 80B Qwen Model upang makapag-run sa Mac gamit ang 4.3GB peak memory

iconKuCoinFlash
I-share
AI summary iconSummary
Isang bagong pahayag ng proyekto mula sa MetaEra ay naglalathala na ang Swiftlet project ay nag-optimiza ang Qwen3-Next at iba pang MoE models para sa Mac gamit ang Swift at Metal. Sa pamamagitan ng pag-load ng isang maliit na dense core lamang sa memorya at pag-stream ng weights ng expert mula sa SSD, ang 4-bit Qwen3.6-35B-A3B model ay nangangailangan ng tanging 18GB disk space at 2.6GB peak memory sa isang M5 Mac, kasama ang decoding speeds na 7–11 tok/s. Ipinapakita ng balitang ito sa chain ang epektibong deployment ng malalaking model sa consumer hardware.
ME AI mensahe, ginagamit ng proyekto ng Swiftlet ang Swift + Metal upang gawing lubos na maliit ang pagpapatakbo ng mga MoE model tulad ng Qwen3-Next sa Mac: ang maliit na dense core ang nananatili lamang, habang ang weights ng expert ay naka-save sa SSD at iniloload ayon sa pangangailangan. Sa M5 Mac, ang 4-bit na bersyon ng Qwen3.6-35B-A3B ay nagtatampok lamang ng 18GB na disk space, peak memory na 2.6GB, at decoding speed na 7–11 tok/s. (Pinagmulan: MLion)
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.