Swiftlet、80B QwenモデルをMacで4.3GBの最大メモリ使用量で実行可能に縮小
KuCoinFlash共有
MetaEraからの新プロジェクト発表によると、SwiftletプロジェクトはSwiftとMetalを用いてQwen3-Nextおよびその他のMoEモデルをMac向けに最適化しました。メモリには小さな密結合コアのみを読み込み、エキスパートの重みをSSDからストリーミングすることで、4ビットのQwen3.6-35B-A3BモデルはM5 Mac上でディスク領域18GB、最大メモリ使用量2.6GBで動作し、デコード速度は7~11 tok/sです。このオンチェーンニュースは、消費者向けハードウェアでの大規模モデルの効率的なデプロイを強調しています。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。