Pesan ChainThink, 1 Agustus, perusahaan infrastruktur AI Agent Composio memperluas pengujian, menghubungkan Kimi K3 yang sama ke enam kerangka kerja Agent, menyelesaikan 26 tugas identik.
Perbandingan kali ini dilakukan terhadap kerangka kerja, dengan model dasar semuanya Kimi K3. Hasil pengujian menunjukkan bahwa Kimi Code menyelesaikan 21 tugas, peringkat pertama; Hermes menyelesaikan 20 tugas;
Pi Agent dan Claude Code masing-masing menyelesaikan 19 item; OpenCode menyelesaikan 18 item; Codex menyelesaikan 17 item.
Berdasarkan perkiraan harga resmi Kimi K3, Hermes dan Pi Agent memiliki biaya rata-rata per tugas terendah, masing-masing sebesar $0,39 dan $0,40;
Claude Code berharga $1,47, sekitar 3,8 kali lebih mahal daripada Hermes. Dalam hal kecepatan, waktu median tugas tunggal Pi Agent adalah 161,7 detik, sedangkan Claude Code adalah 347,6 detik.
Pengujian menunjukkan bahwa dengan model yang sama tetapi mengganti kerangka kerja, jumlah tugas yang berhasil berbeda hingga 4, biaya rata-rata berbeda hampir 4 kali lipat, dan waktu yang dibutuhkan berbeda lebih dari 2 kali lipat.
