Согласно мониторингу Beating, компания Composio, занимающаяся инфраструктурой AI-агентов, подключила одну и ту же версию Kimi K3 к Kimi Code, Hermes и Claude Code и выполнила 28 одинаковых задач. Количество успешных выполнений в трех системах отличалось всего на две задачи, однако объем используемых токенов и затраты значительно различались. Kimi Code выполнил 22 задачи, Hermes — 21, Claude Code — 20. Медианный объем токенов на одну задачу составил соответственно 61 000, 67 000 и 340 000. Composio оценила среднюю стоимость выполнения одной задачи примерно в 0,22 доллара, 0,28 доллара и 2 доллара. Максимальное различие в объеме токенов для отдельных задач составило 30 раз. Hermes показал наивысшую скорость: медианное время выполнения одной задачи — 179 секунд. У Kimi Code оно составило 297 секунд, у Claude Code — 348 секунд. Другое исследование Writer дало схожие результаты: исследователи заменили только исполняемую систему на 22 корпоративных задачах и шести моделях, в результате объем токенов снизился на 38%, стоимость на одну задачу — на 41%, время выполнения — на 44%, а качество выполнения осталось примерно на том же уровне.
Composio тестирует Kimi K3 на трех фреймворках, стоимость токенов варьируется до 9 раз
MarsBitПоделиться
Сводка
Composio протестировала Kimi K3 на Kimi Code, Hermes и Claude Code, выполнив 28 идентичных задач. Уровни успешности были схожи, но затраты на токены и время различались. Kimi Code использовала 61 000 токенов на задачу, что стоило $0,22, в то время как Claude Code израсходовала 340 000 токенов по $2,00 за каждый. Некоторые задачи использовали в 30 раз больше токенов. Hermes завершила задачи быстрее всего — за 179 секунд. Результаты подчеркивают важность соблюдения требований CFT при управлении активами с высоким уровнем риска, такими как инфраструктура ИИ.
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.