Composio тестирует Kimi K3 на 6 фреймворках агентов: Claude Code самый дорогой и самый медленный

Согласно мониторингу Beating, инфраструктурная компания AI Agent Composio расширила тестирование, подключив одну и ту же модель Kimi K3 к шести различным фреймворкам агентов и выполнив 26 одинаковых задач. Сравниваются сами фреймворки, при этом базовая модель во всех случаях — Kimi K3. Kimi Code справился с 21 задачей и занял первое место. Hermes выполнил 20 задач, Pi Agent и Claude Code — по 19, OpenCode — 18, Codex замыкает список с 17 задачами. По официальной цене Kimi K3, Hermes и Pi Agent показали наименьшую среднюю стоимость на задачу — 0,39 доллара и 0,40 доллара соответственно. Claude Code достиг 1,47 доллара — примерно в 3,8 раза выше, чем у Hermes. Pi Agent оказался самым быстрым: медианное время выполнения одной задачи составило 161,7 секунды. Claude Code был самым медленным — 347,6 секунды. При использовании одной и той же модели в разных фреймворках разница в количестве успешно выполненных задач составила максимум 4 задачи, однако средняя стоимость отличалась почти в 4 раза, а время выполнения — более чем в 2 раза.