De acordo com o monitoramento da Beating, a empresa de banco de dados de borda SQLite AI lançou o mecanismo de inferência de código aberto WASTE. Ele permite que o Kimi K3, com todas as camadas e especialistas preservados, funcione em um MacBook Pro de 64 GB. O modelo convertido ocupa cerca de 1 TB e opera a uma velocidade de 0,49 a 0,54 Tokens por segundo. O WASTE mantém cerca de 27 GB do núcleo do modelo na memória, enquanto mais de 80 mil especialistas são armazenados no SSD interno. Para cada Token gerado, apenas os especialistas chamados no momento são lidos do disco rígido. Esta versão não utiliza destilação, corte ou remoção de especialistas; no entanto, os pesos dos especialistas foram requantizados para 3 bits, e o núcleo do modelo utiliza 4 bits e 8 bits.
SQLite AI lança de código aberto o mecanismo de inferência WASTE para o Kimi K3 em MacBook de 64GB
MarsBitCompartilhar
Resumo
A SQLite AI open-sourcou seu motor de inferência WASTE, permitindo que o modelo completo Kimi K3 funcione em um MacBook Pro de 64 GB. Essa notícia on-chain marca um passo significativo na integração de IA e criptomoedas, pois o modelo opera a 0,49 a 0,54 tokens por segundo. O modelo de 1 TB mantém a estrutura principal de 27 GB na memória e carrega especialistas do SSD conforme necessário. Os pesos foram re-quantizados para 3 bits, com a estrutura principal utilizando 4 bits e 8 bits.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.