ChainThink thông báo, ngày 30 tháng 7, công ty cơ sở hạ tầng AI Agent Composio đã kết nối cùng một Kimi K3 với Kimi Code, Hermes và Claude Code để thực hiện 28 nhiệm vụ giống nhau.
Số lượng hoàn thành của ba khung hoạt động lần lượt là 22, 21 và 20, khoảng cách nhỏ, nhưng sự khác biệt về lượng Token sử dụng và chi phí rõ rệt.
Các bài kiểm tra cho thấy trung vị Token cho các nhiệm vụ đơn lẻ của Kimi Code, Hermes và Claude Code lần lượt là 61.000, 67.000 và 340.000;
Composio ước tính chi phí trung bình mỗi nhiệm vụ khoảng 0,22 USD, 0,28 USD và 2 USD. Lượng token sử dụng cho từng nhiệm vụ có thể chênh lệch lên đến 30 lần.
Về tốc độ, thời gian trung vị cho một nhiệm vụ đơn lẻ của Hermes là 179 giây, Kimi Code là 297 giây và Claude Code là 348 giây.
Một nghiên cứu khác của Writer cũng cho thấy, sau khi chỉ thay đổi khung chạy trên 22 nhiệm vụ doanh nghiệp và 6 mô hình, lượng Token giảm 38%, chi phí mỗi lần giảm 41%, thời gian giảm 44%, và chất lượng hoàn thành gần như giữ nguyên.