ChainThink сообщает, 30 июля компания-инфраструктурный провайдер AI Agent Composio подключила одну и ту же модель Kimi K3 к Kimi Code, Hermes и Claude Code для выполнения 28 одинаковых задач.
Количество завершенных операционных рамок составило 22, 21 и 20 соответственно, разница небольшая, но расходы и использование токенов значительно различаются.
Тесты показали, что медианное количество токенов для одиночных задач у Kimi Code, Hermes и Claude Code составило 61 000, 67 000 и 340 000 соответственно;
Composio оценивает среднюю стоимость каждой задачи примерно в 0,22 доллара, 0,28 доллара и 2 доллара. Индивидуальные задачи могут различаться по использованию токенов вплоть до 30 раз.
По скорости медианное время выполнения одиночных задач для Hermes составляет 179 секунд, для Kimi Code — 297 секунд, для Claude Code — 348 секунд.
Другое исследование Writer также показало, что при замене только исполняемой среды на 22 корпоративных задачах и 6 моделях использование токенов снизилось на 38%, стоимость на одну задачу — на 41%, время выполнения — на 44%, а качество выполнения осталось примерно на том же уровне.
