Swiftlet、80B QwenモデルをMacで4.3GBの最大メモリ使用量で実行可能に縮小

iconKuCoinFlash
共有
AI summary icon概要
MetaEraからの新プロジェクト発表によると、SwiftletプロジェクトはSwiftとMetalを用いてQwen3-Nextおよびその他のMoEモデルをMac向けに最適化しました。メモリには小さな密結合コアのみを読み込み、エキスパートの重みをSSDからストリーミングすることで、4ビットのQwen3.6-35B-A3BモデルはM5 Mac上でディスク領域18GB、最大メモリ使用量2.6GBで動作し、デコード速度は7~11 tok/sです。このオンチェーンニュースは、消費者向けハードウェアでの大規模モデルの効率的なデプロイを強調しています。
ME AI メッセージ:Swiftlet プロジェクトは Swift + Metal を活用し、Qwen3-Next などの MoE モデルを Mac 上で極限まで軽量化して実行します。常駐するのは小型の疎密コアのみで、エキスパートの重みは SSD に保存し、必要に応じてストリーミング読み込みされます。M5 Mac では、Qwen3.6-35B-A3B の 4-bit 版がディスク領域 18GB に収まり、ピークメモリ使用量は 2.6GB、デコード速度は 7–11 tok/s に達します。(出典:MLion)
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。