SQLite AI lança abertamente o mecanismo de inferência WASTE para executar o Kimi K3 em um MacBook de 64 GB

iconKuCoinFlash
Compartilhar
AI summary iconResumo
A SQLite AI abriu o código do seu mecanismo de inferência WASTE, permitindo que o modelo completo Kimi K3 seja executado em um MacBook Pro de 64 GB. O modelo, convertido para 1 TB, opera a 0,49–0,54 tokens por segundo. O WASTE carrega apenas os especialistas necessários do SSD, mantendo a estrutura principal de 27 GB na memória. Os pesos são re-quantizados para 3 bits e 4–8 bits. Esta notícia de IA + criptomoeda representa um avanço nas notícias on-chain em relação à eficiência de modelos.
ME AI mensagem, conforme monitorado pelo Beating, a empresa de banco de dados de borda SQLite AI lançou o motor de inferência aberto WASTE. Ele permite que o Kimi K3, com todas as camadas e especialistas preservados, funcione em um MacBook Pro de 64 GB. O modelo convertido ocupa cerca de 1 TB, com velocidade de 0,49 a 0,54 Token por segundo. O WASTE mantém cerca de 27 GB do núcleo do modelo na memória. Mais de 80 mil especialistas são armazenados no SSD interno. Para cada Token gerado, apenas os especialistas chamados no momento são lidos do disco. Esta versão não utiliza distilação, corte ou remoção de especialistas. No entanto, os pesos dos especialistas foram requantizados para 3-bit, e o núcleo do modelo utiliza 4-bit e 8-bit. (Fonte: MLion)
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.