ChainThink повідомляє, що 30 липня компанія Composio, інфраструктурна компанія для AI Agent, підключила одну й ту саму модель Kimi K3 до Kimi Code, Hermes і Claude Code для виконання 28 однакових завдань.
Кількість завершених операцій у трьох рамках становить 22, 21 і 20 відповідно, різниця невелика, але відмінності у використанні токенів і витратах очевидні.
Тестування показало, що медіанна кількість токенів для окремих завдань для Kimi Code, Hermes та Claude Code становить відповідно 61 000, 67 000 та 340 000;
Composio оцінює, що середня вартість кожної задачі становить приблизно 0,22 долара, 0,28 долара та 2 долари. Витрати токенів на окремі задачі можуть відрізнятися до 30 разів.
Щодо швидкості, медіанний час виконання однієї задачі для Hermes становить 179 секунд, для Kimi Code — 297 секунд, а для Claude Code — 348 секунд.
Інше дослідження Writer також показало, що після заміни лише виконавчої рамки на 22 корпоративних завданнях і 6 моделях використання токенів зменшилося на 38%, витрати на одну операцію — на 41%, час виконання — на 44%, а якість завершення залишилася майже незмінною.
