開發者開源 C 引擎，可在 8GB RAM 上運行 2.78T 參數的 Kimi K3

火星財經訊，8 月 8 日，有開發者近日開源項目 kimi-k3-in-c，嘗試讓擁有 2.78 兆參數的 Kimi K3 模型在僅 8GB 記憶體的設備上運行。該項目僅 176KB，採用純 C99 編寫，不依賴 GPU、CUDA、PyTorch 或 BLAS，僅通過 CPU 即可完成模型推論。 該方案利用 Kimi K3 的 MoE（混合專家）架構特性。雖然模型總參數規模達到 2.78T，但每層 896 個專家中僅激活 16 個，因此開發者未將完整約 1.56TB 模型權重載入記憶體，而是將大部分專家權重存儲在 NVMe 硬碟中，根據推論需求即時讀取；同時，部分密集層（dense trunk）亦採用逐層流式載入方式。 不過，該方案目前仍存在明顯性能限制。在 8GB 記憶體模式下，模型生成一個 token 大約需要 32.7 秒，同時需要接近 1.7TB 高速存儲空間支援。 開發者表示，這一方案目前更像是一次對大模型推論基礎設施優化方向的實驗探索，並不具備實際生產使用價值，但其透過「硬碟流式載入+MoE 稀疏激活」的方式，為未來低成本運行超大規模模型提供了一種新思路。