ChainThink mensagem, 30 de julho, a empresa de infraestrutura de AI Agent Composio conectou o mesmo Kimi K3 ao Kimi Code, Hermes e Claude Code para executar 28 tarefas idênticas.
Os números de conclusões das três estruturas de operação são 22, 21 e 20, respectivamente, com pequena diferença, mas as variações no uso e custo dos tokens são evidentes.
Os testes mostraram que as medianas de tokens por tarefa única para Kimi Code, Hermes e Claude Code são respectivamente 61 mil, 67 mil e 340 mil;
A Composio estima que o custo médio por tarefa seja de aproximadamente US$ 0,22, US$ 0,28 e US$ 2. O uso de tokens por tarefa individual pode variar até 30 vezes.
Em termos de velocidade, o tempo mediano por tarefa única do Hermes é de 179 segundos, do Kimi Code é de 297 segundos e do Claude Code é de 348 segundos.
Outro estudo do Writer também mostrou que, ao substituir apenas o framework de execução em 22 tarefas corporativas e 6 modelos, o uso de tokens diminuiu 38%, o custo por tarefa reduziu 41%, o tempo gasto caiu 44% e a qualidade da conclusão permaneceu essencialmente igual.