Swiftlet 將 80B Qwen 模型縮小至僅需 4.3GB 峰值記憶體即可在 Mac 上運行

iconKuCoinFlash
分享
AI summary icon精華摘要
MetaEra 發布的新項目公告指出，Swiftlet 項目已使用 Swift 和 Metal 對 Qwen3-Next 及其他 MoE 模型進行優化，以適用於 Mac。通過僅在記憶體中加載一小部分密集核心，並從 SSD 流式傳輸專家權重，4-bit Qwen3.6-35B-A3B 模型在 M5 Mac 上僅需 18GB 磁碟空間和 2.6GB 峰值記憶體，解碼速度達 7–11 tok/s。這則鏈上新聞凸顯了大型模型在消費級硬體上的高效部署。
ME AI 消息，Swiftlet 專案利用 Swift + Metal，讓 Qwen3-Next 等 MoE 模型在 Mac 上極致瘦身運行：僅常駐小型稠密核心，專家權重存於 SSD 按需流式加載。在 M5 Mac 上，Qwen3.6-35B-A3B 的 4-bit 版本僅佔 18GB 磁碟，峰值記憶體 2.6GB，解碼速度達 7–11 tok/s。（來源：MLion）
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。