Desenvolvedor abre o código-fonte do motor C para executar o Kimi K3 com 2,78 trilhões de parâmetros em 8 GB de RAM

Notícia da Huoxing Caijing: em 8 de agosto, um desenvolvedor lançou recentemente o projeto open-source kimi-k3-in-c, tentando fazer o modelo Kimi K3, com 2,78 trilhões de parâmetros, funcionar em um dispositivo com apenas 8 GB de memória. O projeto possui apenas 176 KB, é escrito inteiramente em C99, não depende de GPU, CUDA, PyTorch ou BLAS, e realiza inferência exclusivamente por meio da CPU. Essa abordagem aproveita as características da arquitetura MoE (Mixture of Experts) do Kimi K3. Embora o modelo tenha um total de 2,78 T de parâmetros, apenas 16 dos 896 especialistas por camada são ativados; portanto, o desenvolvedor não carregou na memória os pesos completos do modelo, que seriam cerca de 1,56 TB, mas armazenou a maioria dos pesos dos especialistas no disco NVMe, lendo-os em tempo real conforme necessário; além disso, algumas camadas densas (dense trunk) também são carregadas de forma fluída camada por camada. No entanto, essa solução ainda apresenta limitações de desempenho significativas. Em modo de 8 GB de memória, o modelo leva cerca de 32,7 segundos para gerar um token e requer quase 1,7 TB de espaço de armazenamento de alta velocidade. O desenvolvedor afirmou que essa solução é atualmente mais uma exploração experimental sobre a direção de otimização da infraestrutura de inferência de grandes modelos, sem valor prático para uso em produção; no entanto, seu método de “carregamento fluído via disco + ativação esparsa MoE” oferece uma nova perspectiva para a execução de modelos ultraescaláveis com baixo custo no futuro.