কম্পোসিও কিমি K3-কে তিনটি ফ্রেমওয়ার্কে পরীক্ষা করে, টোকেন খরচ পর্যন্ত 9x পরিবর্তন হয়

Beating মনিটরিং অনুসারে, AI এজেন্ট ইনফ্রাস্ট্রাকচার কোম্পানি Composio একই Kimi K3 কে Kimi Code, Hermes এবং Claude Code-এর সাথে যুক্ত করে 28টি একই কাজ সম্পন্ন করেছে। তিনটি রানটাইম ফ্রেমওয়ার্কের সফলতার সংখ্যা মাত্র 2টি কাজের পার্থক্য ছিল, কিন্তু Token ব্যবহার এবং খরচের পার্থক্য অনেক বেশি। Kimi Code 22টি, Hermes 21টি, Claude Code 20টি কাজ সম্পন্ন করেছে। প্রতিটি কাজের Token মিডিয়ান যথাক্রমে 61,000, 67,000 এবং 340,000। Composio-এর অনুমান অনুযায়ী, প্রতিটি কাজের গড় খরচ যথাক্রমে 0.22 ডলার, 0.28 ডলার এবং 2 ডলার। কিছু কাজের জন্য Token ব্যবহারের পার্থক্য সর্বোচ্চ 30 গুণ। Hermes-এর গতি সবচেয়ে দ্রুত, প্রতিটি কাজের মিডিয়ান সময় 179 সেকেন্ড। Kimi Code-এর ক্ষেত্রে 297 সেকেন্ড, Claude Code-এর ক্ষেত্রে 348 সেকেন্ড। Writer-এর অন্যান্য গবেষণাও একইধরনের ফলাফল প্রদান করেছে। গবেষকদের 22টি ব্যবসায়িক কাজ এবং 6টি মডেলের উপর শুধুমাত্র রানটাইম ফ্রেমওয়ার্কটি পরিবর্তন করলে, Token ব্যবহার 38% কমেছে, প্রতিটি কাজের খরচ 41% কমেছে, সময় 44% কমেছে, এবং সম্পন্নতার মানপরিমাণপ্রায়ই একইভাবেই রয়েছে।