ডেভেলপার 8GB RAM-এ 2.78T-প্যারাম কিমি K3 চালানোর জন্য ওপেন সোর্স C ইঞ্জিন প্রকাশ করেছেন

মার্স ক্যাপিটালের সংবাদ অনুযায়ী, ৮ আগস্ট, একজন ডেভেলপার সম্প্রতি kimi-k3-in-c নামে একটি ওপেন-সোর্স প্রজেক্ট শুরু করেছেন, যা ২.৭৮ ট্রিলিয়ন প্যারামিটারযুক্ত Kimi K3 মডেলকে মাত্র ৮GB মেমরির ডিভাইসে চালানোর চেষ্টা করছে। এই প্রজেক্টটি মাত্র ১৭৬KB, শুধুমাত্র C99-এ লেখা হয়েছে, GPU, CUDA, PyTorch বা BLAS-এর উপর নির্ভরশীল নয়, এবং শুধুমাত্র CPU-এর মাধ্যমেই মডেল ইনফারেন্স সম্পন্ন করে। এই সমাধানটি Kimi K3-এর MoE (মিক্সড এক্সপার্ট) আর্কিটেকচারের বৈশিষ্ট্যকে ব্যবহার করে। যদিও মডেলটির মোট প্যারামিটার সাইজ ২.৭৮T, কিন্তু প্রতিটি স্তরের ৮৯৬টি এক্সপার্টের মধ্যে শুধুমাত্র ১৬টি সক্রিয় হয়, তাই ডেভেলপাররা ১.৫৬TB-এরও বেশি মডেলওয়েটসকে মেমরিতে লোড করেননি, বরং বেশিরভাগ এক্সপার্টওয়েটসকে NVMe হার্ডডিস্কে সংরক্ষণ করেছেন, এবং ইনফারেন্সের প্রয়োজনীয়তা অনুযায়ী রিয়াল-টাইমে পড়ছেন; এছাড়াও, কিছু ঘন (dense trunk) লেয়ারগুলিও স্লাইস-বাই-স্লাইস স্ট্রিমিংয়ের মাধ্যমে লোড করা হয়। তবে, এই সমাধানটি目前仍存在明显的性能限制。在 8GB 内存模式下，模型生成一个 token 大约需要 32.7 秒，同时需要接近 1.7TB 高速存储空间支持。 开发者表示，这一方案目前更像是对大模型推理基础设施优化方向的一次实验探索，并不具备实际生产使用价值，但其通过「硬盘流式加载+MoE 稀疏激活」的方式，为未来低成本运行超大规模模型提供了一种新思路।