Pengembang Membuka Sumber C Engine untuk Menjalankan Kimi K3 dengan 2,78 T Parameter pada 8GB RAM

Berita Huoxing Caijing, pada 8 Agustus, seorang pengembang baru-baru ini membuka sumber proyek kimi-k3-in-c, yang mencoba menjalankan model Kimi K3 dengan 2,78 triliun parameter pada perangkat hanya dengan 8 GB memori. Proyek ini berukuran hanya 176 KB, ditulis murni dalam C99, tidak bergantung pada GPU, CUDA, PyTorch, atau BLAS, dan hanya menggunakan CPU untuk inferensi model. Solusi ini memanfaatkan fitur arsitektur MoE (Mixture of Experts) dari Kimi K3. Meskipun total parameter model mencapai 2,78T, hanya 16 dari 896 pakar di setiap lapisan yang diaktifkan; oleh karena itu, pengembang tidak memuat seluruh bobot model sebesar sekitar 1,56 TB ke dalam memori, melainkan menyimpan sebagian besar bobot pakar di hard disk NVMe dan membacanya secara real-time sesuai kebutuhan inferensi; sementara itu, sebagian lapisan padat (dense trunk) juga menggunakan pendekatan streaming lapisan demi lapisan. Namun, solusi ini saat ini masih memiliki batasan kinerja yang jelas. Dalam mode 8 GB memori, model membutuhkan sekitar 32,7 detik untuk menghasilkan satu token, serta memerlukan ruang penyimpanan cepat hampir 1,7 TB. Pengembang menyatakan bahwa solusi ini saat ini lebih merupakan eksperimen eksplorasi arah optimasi infrastruktur inferensi model besar, dan tidak memiliki nilai penggunaan produksi nyata; namun, pendekatan “streaming penyimpanan hard disk + aktivasi jarang MoE” ini memberikan pemikiran baru untuk menjalankan model skala sangat besar dengan biaya rendah di masa depan.