開発者が8GBのRAMで2.78TパラメータのKimi K3を実行するためのC言語エンジンをオープンソース化

火星財經の情報によると、8月8日、ある開発者がオープンソースプロジェクト「kimi-k3-in-c」を公開し、2.78兆パラメータを有するKimi K3モデルを8GBのメモリのみで動作させることを試みた。このプロジェクトは176KBのサイズで、純粋なC99で記述されており、GPU、CUDA、PyTorch、BLASに依存せず、CPUのみでモデルの推論を実行できる。 この手法は、Kimi K3のMoE（混合専門家）アーキテクチャの特性を活用している。モデルの総パラメータ数は2.78Tに達するが、各層の896人の専門家の中では16人しか活性化されないため、開発者は約1.56TBに及ぶ完全なモデル重みをメモリに読み込まず、大部分の専門家重みをNVMeハードディスクに保存し、推論の必要に応じてリアルタイムで読み込んでいる。また、一部の密結合層（dense trunk）も層ごとにストリーミング方式で読み込んでいる。 ただし、この手法には現在も明確なパフォーマンス制限が存在する。8GBメモリモードでは、1つのトークンを生成するのに約32.7秒かかり、約1.7TBの高速ストレージ空間が必要となる。 開発者は、この手法は現在のところ大規模モデル推論インフラの最適化方向に対する実験的な探求に過ぎず、実際の生産環境での利用価値はないと述べているが、「ハードディスクストリーミング読み込み＋MoEスパース活性化」という方式は、今後低コストで超大規模モデルを実行するための新たな可能性を示している。