Розробник відкрив джерельний код C-движка для запуску Kimi K3 з 2,78 трлн параметрів на 8 ГБ ОЗП

Марс Фінанс повідомляє, що 8 серпня розробник опублікував відкритий проект kimi-k3-in-c, спробувавши запустити модель Kimi K3 з 2,78 трильйона параметрів на пристрої з лише 8 ГБ оперативної пам’яті. Проект має розмір лише 176 КБ, написаний чистим C99, не залежить від GPU, CUDA, PyTorch чи BLAS і виконує висновування моделі лише за допомогою CPU. Цей підхід використовує особливості архітектури MoE (мішані експерти) моделі Kimi K3. Хоча загальна кількість параметрів моделі досягає 2,78 Т, у кожному шарі активується лише 16 із 896 експертів, тому розробник не завантажує повні ваги моделі об’ємом близько 1,56 ТБ у пам’ять, а зберігає більшість ваг експертів на NVMe-диску, завантажуючи їх у реальному часі згідно з потребами висновування; крім того, деякі щільні шари (dense trunk) також завантажуються потоково, шар за шаром. Проте цей підхід досі має значні обмеження продуктивності. У режимі з 8 ГБ оперативної пам’яті модель генерує один токен приблизно за 32,7 секунди і вимагає майже 1,7 ТБ швидкого сховища. Розробник зазначив, що цей підхід наразі є більше експериментальним дослідженням напрямку оптимізації інфраструктури висновування великих моделей і не має практичної цінності для виробничого використання, але його підхід «потокове завантаження з диска + розріджена активация MoE» пропонує новий погляд на майбутнє дешеве запускання надвеликих моделей.