Разработчик открыл исходный код C-движка для запуска Kimi K3 с 2,78 трлн параметров на 8 ГБ ОЗУ

Сообщение Huoxing Caijing: 8 августа разработчик опубликовал открытый проект kimi-k3-in-c, стремясь запустить модель Kimi K3 с 2,78 триллиона параметров на устройстве с всего 8 ГБ оперативной памяти. Проект занимает всего 176 КБ, написан на чистом C99, не зависит от GPU, CUDA, PyTorch или BLAS и выполняет вывод модели исключительно на CPU. Это решение использует особенности архитектуры MoE (смешанные эксперты) модели Kimi K3. Хотя общее количество параметров модели достигает 2,78 Т, в каждом слое активируются только 16 из 896 экспертов; поэтому разработчик не загружает полные веса модели объемом около 1,56 ТБ в память, а хранит большую часть весов экспертов на NVMe-диске, загружая их в реальном времени по мере необходимости. Кроме того, некоторые плотные слои (dense trunk) также загружаются потоковым методом по слоям. Однако текущая реализация имеет значительные ограничения по производительности: при режиме работы с 8 ГБ оперативной памяти генерация одного токена занимает около 32,7 секунды и требует почти 1,7 ТБ быстрого хранилища. Разработчик отмечает, что данный подход пока представляет собой скорее экспериментальное исследование в направлении оптимизации инфраструктуры вывода крупных моделей и не имеет практической ценности для промышленного использования; однако его метод «потоковой загрузки с диска + разреженное активирование MoE» предлагает новый подход к будущему запуску сверхкрупных моделей с низкой стоимостью.