За даними Beating Monitoring, інфраструктурна компанія AI Agent Composio підключила одну й ту саму версію Kimi K3 до Kimi Code, Hermes і Claude Code, виконавши 28 однакових завдань. Кількість успішно виконаних завдань у трьох системах відрізнялася лише на 2, але витрати на токени та вартість сильно відрізнялися. Kimi Code виконав 22 завдання, Hermes — 21, Claude Code — 20. Медіанна кількість токенів на одне завдання становила відповідно 61 000, 67 000 і 340 000. Composio оцінила середню вартість одного завдання приблизно в 0,22 долара, 0,28 долара і 2 долари. Максимальна різниця у використанні токенів для окремих завдань сягала 30 разів. Hermes працював найшвидше: медіанний час виконання одного завдання становив 179 секунд. Kimi Code — 297 секунд, Claude Code — 348 секунд. Інше дослідження Writer дало схожі результати: дослідники замінили лише інфраструктуру виконання на 22 корпоративних завданнях і 6 моделях, в результаті чого витрати на токени зменшилися на 38%, вартість на одне завдання — на 41%, час виконання — на 44%, а якість виконання залишилася майже незмінною.
Composio тестує Kimi K3 на трьох фреймворках, вартість токенів варіюється до 9 разів
MarsBitПоділитися
Короткий зміст
Composio протестував Kimi K3 на Kimi Code, Hermes та Claude Code, виконавши 28 ідентичних завдань. Рівні успішності були схожими, але витрати на токени та час відрізнялися. Kimi Code використав 61 000 токенів на завдання, що коштувало $0,22, тоді як Claude Code витратив 340 000 токенів по $2,00 за кожен. Деякі завдання використали в 30 разів більше токенів. Hermes завершив найшвидше за 179 секунд. Результати підкреслюють важливість дотримання CFT при управлінні активами з високим ризиком, такими як інфраструктура ШІ.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.