ChainThink mensaje, 30 de julio, la empresa de infraestructura de AI Agent Composio conectó la misma versión de Kimi K3 a Kimi Code, Hermes y Claude Code para ejecutar 28 tareas idénticas.
Los números completados de los tres marcos de operación son 22, 21 y 20, respectivamente, con una diferencia pequeña, pero las diferencias en el uso y el costo de los tokens son evidentes.
Las pruebas muestran que la mediana de tokens por tarea individual para Kimi Code, Hermes y Claude Code es de 61.000, 67.000 y 340.000, respectivamente;
Composio estima que el costo promedio por tarea es de aproximadamente $0.22, $0.28 y $2. El uso de tokens por tarea individual puede variar hasta 30 veces.
En cuanto a velocidad, el tiempo mediano por tarea individual de Hermes es de 179 segundos, de Kimi Code es de 297 segundos y de Claude Code es de 348 segundos.
Otro estudio de Writer también mostró que, al reemplazar solo el marco de ejecución en 22 tareas empresariales y 6 modelos, el uso de tokens disminuyó un 38%, el costo por tarea un 41%, el tiempo consumido un 44%, y la calidad de finalización se mantuvo prácticamente igual.