کومپوسیو نے کیمی K3 کو تین فریم ورکس پر ٹیسٹ کیا، ٹوکن لاگت میں 9 گنا تک فرق ہے

Beating مانیٹرنگ کے مطابق، AI ایجینٹ انفراسٹرکچر کمپنی Composio نے ایک ہی Kimi K3 کو Kimi Code، Hermes اور Claude Code میں شامل کیا اور 28 ایک جیسے کاموں کو مکمل کیا۔ تینوں رن ڈھانچوں میں کامیابی کی تعداد صرف دو کاموں کے فرق سے زیادہ نہیں تھی، لیکن ٹوکن استعمال اور لاگت میں بڑا فرق تھا۔ Kimi Code نے 22 کام مکمل کیے، Hermes نے 21 کام، اور Claude Code نے 20 کام۔ ہر کام کے لیے ٹوکن کا درمیانی استعمال lần 61,000، 67,000 اور 340,000 تھا۔ Composio کے اندازے کے مطابق، ہر کام کی اوسط لاگت تقریباً 0.22 ڈالر، 0.28 ڈالر اور 2 ڈالر تھی۔ کچھ خاص کاموں میں ٹوکن استعمال میں تین گنا تک فرق تھا۔ Hermes سب سے تیز تھا، جس کا ہر کام کا درمیانی وقت 179 سیکنڈ تھا۔ Kimi Code کا وقت 297 سیکنڈ اور Claude Code کا وقت 348 سیکنڈ تھا۔ Writer کی ایک اور تحقیق نے بھی اسی قسم کے نتائج حاصل کیے۔ تحقیق گروہ نے 22 کاروباری کاموں اور 6 ماڈلز پر صرف رن ڈھانچہ بدل کر، ٹوکن استعمال میں 38% کمی، ہر کام کی لاگت میں 41% کمی، اور وقت میں 44% کمی دیکھی، جبکہ مکمل کرنے کی معیار لگभگ برابر رہا۔