Inilabas ng developer ang open-source na C engine upang panaig ang 2.78T-param na Kimi K3 sa 8GB RAM

Ayon sa Mars Finance, noong Agosto 8, may developer na nag-open source ang proyektong kimi-k3-in-c na nagsubok na panaan ang Kimi K3 model na may 2.78 trilyong parameter sa isang device na may 8GB lamang ng memorya. Ang proyektong ito ay may laki lamang ng 176KB, isinulat sa puro C99, at hindi nakasalalay sa GPU, CUDA, PyTorch, o BLAS—nagaganap lamang ang model inference gamit ang CPU. Ang solusyong ito ay gumagamit ng mga katangian ng MoE (Mixture of Experts) arkitektura ng Kimi K3. Bagaman ang kabuuang sukat ng parameter ng model ay umabot sa 2.78T, ang bawat layer ay nagpapagana lamang ng 16 sa 896 na mga expert. Kaya hindi nila iniloload ang buong 1.56TB na weights ng model sa memorya; kundi iniiwasan nila ang karamihan sa mga weights ng expert sa NVMe hard drive at binabasa ito nang real-time batay sa pangangailangan ng inference. Samantala, ang ilang dense layers ay ginagamit naman ang stream-based loading per layer. Gayunpaman, mayroon pa ring malinaw na limitasyon sa performance ang solusyong ito. Sa mode na may 8GB memorya, kinakailangan ng model na 32.7 segundo upang makagawa ng isang token, at kailangan nito ng halos 1.7TB na high-speed storage space. Sinabi ng developer na ang solusyong ito ay mas isang eksperimento para sa direksyon ng pag-optimize ng infrastructure para sa model inference, at hindi pa may practical na value para sa production. Gayunpaman, ang paraan nito na “streaming load mula sa hard drive + sparse activation ng MoE” ay nagtataguyod ng isang bagong ideya para sa pagpapanaan ng sobrang malalaking models sa mababang gastos sa hinaharap.