Pesan ChainThink, 8 Agustus, menurut informasi dari proyek sumber terbuka pengembang kimi-k3-in-c, seorang pengembang mencoba menjalankan model Kimi K3 dengan 2,78 triliun parameter pada perangkat dengan memori hanya 8 GB.
Proyek ini berukuran sekitar 176 KB, ditulis murni dalam C99, tidak bergantung pada GPU, CUDA, PyTorch, atau BLAS, dan dapat melakukan inferensi model melalui CPU.
Implementasinya memanfaatkan arsitektur MoE dari Kimi K3, di mana hanya 16 dari 896 pakar di setiap lapisan yang diaktifkan, sehingga tidak perlu memuat seluruh bobot model sebesar sekitar 1,56 TB ke dalam memori, melainkan sebagian besar bobot pakar disimpan di hard disk NVMe dan dibaca secara real-time sesuai kebutuhan inferensi.
Saat ini, solusi ini masih memiliki batasan kinerja yang jelas: dalam mode memori 8 GB, menghasilkan satu token memerlukan sekitar 32,7 detik, serta membutuhkan ruang penyimpanan cepat hampir 1,7 TB.
Para pengembang menyatakan bahwa solusi ini lebih merupakan eksplorasi eksperimen menuju optimasi infrastruktur inferensi model besar, dan belum memiliki nilai penggunaan produksi.