ChainThink mesajı, 1 Ağustos'ta, AI Agent altyapı şirketi Composio, aynı Kimi K3'ü 6 adet Agent çerçevesine entegre ederek 26 aynı görevi tamamladı.
Bu karşılaştırmada temel çerçeve kullanılmaktadır, altta yatan model tümüyle Kimi K3'tür. Test sonuçlarına göre Kimi Code, 21 görevi tamamlayarak birinci oldu; Hermes, 20 görevi tamamladı;
Pi Agent ve Claude Code her ikisi de 19 görevi tamamladı; OpenCode 18 görevi tamamladı; Codex 17 görevi tamamladı.
Kimi K3 resmi fiyatlarına göre, Hermes ve Pi Agent her bir görev için ortalama maliyeti sırasıyla 0,39 dolar ve 0,40 dolarla en düşük seviyede.
Claude Code, 1,47 ABD doları olarak, Hermes'in yaklaşık 3,8 katıdır. Hız açısından, Pi Agent'in tekil görevlerdeki medyan süresi 161,7 saniye, Claude Code ise 347,6 saniyedir.
Testler, aynı model altında framework değiştirildiğinde, başarıyla tamamlanan görev sayısında en fazla 4 fark, ortalama maliyette yaklaşık 4 kat fark ve sürede 2 katın üzerinde fark olduğunu gösterdi.
