ChainThink melaporkan, pada 30 Juli, perusahaan infrastruktur AI Agent Composio menghubungkan Kimi K3 yang sama ke Kimi Code, Hermes, dan Claude Code untuk menjalankan 28 tugas yang identik.
Jumlah penyelesaian kerangka operasional masing-masing adalah 22, 21, dan 20, selisihnya kecil, tetapi penggunaan dan biaya Token jelas berbeda.
Pengujian menunjukkan, median token tugas tunggal untuk Kimi Code, Hermes, dan Claude Code masing-masing adalah 61.000, 67.000, dan 340.000;
Composio memperkirakan biaya rata-rata per tugas sekitar $0,22, $0,28, dan $2. Penggunaan token per tugas individu dapat berbeda hingga 30 kali.
Dalam hal kecepatan, waktu median tugas tunggal Hermes adalah 179 detik, Kimi Code adalah 297 detik, dan Claude Code adalah 348 detik.
Penelitian lain oleh Writer juga menunjukkan bahwa setelah hanya mengganti kerangka kerja operasional pada 22 tugas perusahaan dan 6 model, penggunaan token turun 38%, biaya per item turun 41%, waktu yang dibutuhkan turun 44%, dan kualitas hasil tetap sebanding.
