Geliştirici, 8 GB RAM'de 2,78T Parametreli Kimi K3'ü çalıştırmak için C Dili Kaynak Kodunu Açık Kaynak Hale Getiriyor

Mars Finans haberine göre, 8 Ağustos'ta bir geliştirici, 2,78 trilyon parametreli Kimi K3 modelini yalnızca 8 GB belleğe sahip bir cihazda çalıştırmayı amaçlayan kimi-k3-in-c adlı açık kaynak projeyi yayınladı. Bu proje yalnızca 176 KB büyüklüğünde olup, GPU, CUDA, PyTorch veya BLAS'a bağımlı değildir ve yalnızca CPU ile model çıkarımı yapar. Bu çözüm, Kimi K3'ün MoE (Karışık Uzmanlar) mimari özelliğini kullanır. Modelin toplam parametre boyutu 2,78T olsa da, her katmanda 896 uzmandan sadece 16'sı etkinleştirilir; bu nedenle geliştiriciler, yaklaşık 1,56 TB ağırlık verisini tamamen belleğe yüklemek yerine, büyük bir kısmını NVMe diskte saklar ve çıkarım ihtiyaçlarına göre gerçek zamanlı olarak okur; aynı zamanda bazı yoğun katmanlar (dense trunk) da katman bazında akışlı yükleme yöntemiyle işlenir. Ancak bu çözüm şu anda açıkça performans sınırlamalarına sahiptir. 8 GB bellek modunda, model bir token üretmek için yaklaşık 32,7 saniye sürmekte ve yaklaşık 1,7 TB yüksek hızlı depolama alanına ihtiyaç duymaktadır. Geliştirici, bu çözümün şu anda büyük modellerin çıkarım altyapısını optimize etme yönünde bir deneysel araştırmaya benzediğini ve pratik üretim kullanım değeri taşımadığını belirtti; ancak bu yöntem, "disk akışlı yükleme + MoE seyrek etkinleştirme" yaklaşımıyla, gelecekte çok büyük modellerin düşük maliyetle çalıştırılması için yeni bir yol sunmaktadır.