Composio thử nghiệm Kimi K3 trên ba framework, chi phí token dao động lên đến 9 lần

Theo giám sát của Beating, công ty cơ sở hạ tầng AI Agent Composio đã kết nối cùng một phiên bản Kimi K3 với Kimi Code, Hermes và Claude Code để hoàn thành 28 nhiệm vụ giống nhau. Số nhiệm vụ thành công của ba khung chạy khác nhau chỉ chênh lệch 2 nhiệm vụ, nhưng lượng Token sử dụng và chi phí lại khác biệt đáng kể. Kimi Code hoàn thành 22 nhiệm vụ, Hermes hoàn thành 21 nhiệm vụ, Claude Code hoàn thành 20 nhiệm vụ. Trung vị lượng Token cho mỗi nhiệm vụ lần lượt là 61.000, 67.000 và 340.000. Composio ước tính chi phí trung bình mỗi nhiệm vụ khoảng 0,22 USD, 0,28 USD và 2 USD. Lượng Token sử dụng cho một số nhiệm vụ riêng lẻ chênh lệch tới 30 lần. Hermes nhanh nhất, thời gian trung vị mỗi nhiệm vụ là 179 giây. Kimi Code là 297 giây, Claude Code là 348 giây. Một nghiên cứu khác của Writer cũng cho kết quả tương tự. Các nhà nghiên cứu chỉ thay đổi khung chạy trên 22 nhiệm vụ doanh nghiệp và 6 mô hình, lượng Token giảm 38%, chi phí mỗi nhiệm vụ giảm 41%, thời gian giảm 44%, trong khi chất lượng hoàn thành gần như không đổi.