يختبر Composio Kimi K3 على ثلاثة أطر، وتختلف تكاليف الرموز حتى 9 مرات

وفقًا لمراقبة Beating، قامت شركة البنية التحتية لوكيلات الذكاء الاصطناعي Composio بربط نفس نموذج Kimi K3 مع Kimi Code وHermes وClaude Code لإكمال 28 مهمة متطابقة. كان عدد المهام الناجحة بين الإطارات الثلاثة يختلف بمهمتين فقط، لكن استهلاك الرموز والتكاليف كان مختلفًا بشكل كبير. أكمل Kimi Code 22 مهمة، وأكمل Hermes 21 مهمة، وأكمل Claude Code 20 مهمة. كانت الوسيطات لعدد الرموز لكل مهمة على التوالي 61 ألفًا و67 ألفًا و340 ألفًا. تقدر Composio أن تكلفة كل مهمة على التوالي كانت حوالي 0.22 دولارًا و0.28 دولارًا و2 دولارًا. كان هناك فرق يصل إلى 30 ضعفًا في استهلاك الرموز لمهمة واحدة. كان Hermes الأسرع، بمتوسط وقت للمهمة الواحدة قدره 179 ثانية. كان وقت Kimi Code 297 ثانية، ووقت Claude Code 348 ثانية. وقد أظهرت دراسة أخرى من Writer نتائج مشابهة. حيث قام الباحثون باستبدال إطار التشغيل فقط على 22 مهمة مؤسسية و6 نماذج، فانخفض استهلاك الرموز بنسبة 38٪، وانخفضت التكلفة لكل مهمة بنسبة 41٪، وانخفض الوقت بنسبة 44٪، مع بقاء جودة الإنجاز تقريبًا ثابتة.