Swiftlet reduz o modelo Qwen de 80B para funcionar no Mac com pico de 4,3 GB de memória

iconKuCoinFlash
Compartilhar
AI summary iconResumo
Um novo anúncio de projeto da MetaEra revela que o projeto Swiftlet otimizou o Qwen3-Next e outros modelos MoE para Macs usando Swift e Metal. Ao carregar apenas um pequeno núcleo denso na memória e transmitir pesos de especialistas do SSD, o modelo Qwen3.6-35B-A3B de 4 bits exige apenas 18 GB de espaço em disco e 2,6 GB de memória máxima em um Mac M5, com velocidades de decodificação de 7–11 tok/s. Esta notícia on-chain destaca a implantação eficiente de modelos grandes em hardware de consumo.
ME AI mensagem, o projeto Swiftlet utiliza Swift + Metal para permitir que modelos MoE, como o Qwen3-Next, funcionem de forma extremamente otimizada no Mac: apenas um pequeno núcleo denso permanece ativo, enquanto os pesos dos especialistas são carregados sob demanda em fluxo contínuo a partir do SSD. Em um Mac M5, a versão de 4-bit do Qwen3.6-35B-A3B ocupa apenas 18 GB de disco, com pico de memória de 2,6 GB e velocidade de decodificação de 7–11 tok/s. (Fonte: MLion)
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.