Composio、Kimi K3を3つのフレームワークでテスト、トークンコストは最大9倍まで変動

動察 Beating の監測によると、AI Agent インフラ企業のComposioは、同一のKimi K3をKimi Code、Hermes、Claude Codeに接続し、28の同じタスクを完了させた。3つの実行フレームワークの成功数は2つしか差がなかったが、トークン使用量とコストは大きく異なった。Kimi Codeは22タスク、Hermesは21タスク、Claude Codeは20タスクを完了した。1タスクあたりのトークン中央値はそれぞれ6.1万、6.7万、34万だった。Composioの推定では、1タスクあたりの平均コストはそれぞれ約0.22ドル、0.28ドル、2ドルだった。個別のタスクではトークン使用量が最大で30倍の差があった。Hermesが最速で、1タスクあたりの中央処理時間は179秒だった。Kimi Codeは297秒、Claude Codeは348秒だった。Writerの別の研究でも同様の結果が得られた。研究者は22の企業タスクと6つのモデルで実行フレームワークのみを変更したところ、トークン使用量が38%減少し、1タスクあたりのコストが41%減少し、処理時間が44%短縮され、完了品質はほぼ同等だった。