Composio teste Kimi K3 sur trois frameworks, les coûts en jetons varient jusqu'à 9 fois

Selon les données de Beating Monitoring, l'entreprise d'infrastructure pour agents IA, Composio, a connecté le même modèle Kimi K3 à Kimi Code, Hermes et Claude Code pour accomplir 28 tâches identiques. Le nombre de tâches réussies par les trois cadres d'exécution ne diffère que de deux unités, mais la consommation de tokens et les coûts varient considérablement. Kimi Code a accompli 22 tâches, Hermes 21 et Claude Code 20. La médiane des tokens par tâche s'élève respectivement à 61 000, 67 000 et 340 000. Composio estime que le coût moyen par tâche s'élève à environ 0,22 $, 0,28 $ et 2 $ respectivement. La consommation de tokens pour certaines tâches individuelles varie jusqu'à 30 fois. Hermes est le plus rapide, avec une médiane de temps par tâche de 179 secondes. Kimi Code nécessite 297 secondes et Claude Code 348 secondes. Une autre étude de Writer a produit des résultats similaires : en remplaçant uniquement le cadre d'exécution sur 22 tâches d'entreprise et six modèles, la consommation de tokens a diminué de 38 %, le coût par tâche de 41 %, le temps d'exécution de 44 %, tandis que la qualité des résultats est restée globalement stable.