Kimi K3 và Chiến lược Fable Route đạt độ chính xác 93%, giảm chi phí lên đến 50 lần

ChainCatcher đưa tin, Fireworks AI đã công bố báo cáo đánh giá, tiến hành so sánh giữa mô hình mã nguồn mở Kimi K3 và mô hình đóng Fable 5 trên khoảng 1.030 nhiệm vụ đại lý (bao gồm các bối cảnh SWE, vận hành terminal, thuật toán, mã hóa đa ngôn ngữ và pháp lý). Kết quả cho thấy, độ chính xác của hai mô hình trên tiêu chuẩn SWE lần lượt là 92,4% và 92,6%, hiệu suất tổng thể gần như tương đương, nhưng mỗi mô hình có thế mạnh riêng: K3 dẫn đầu trong lĩnh vực toán học ký hiệu và công cụ phát triển, trong khi Fable vượt trội hơn trong web và trực quan hóa dữ liệu; trong các nhiệm vụ dài hạn trên terminal, K3 đã tự mình giải quyết thành công 11 nhiệm vụ mà Fable không thể hoàn thành. Báo cáo chỉ ra rằng, việc áp dụng chiến lược định tuyến cấp nhiệm vụ để phân bổ linh hoạt giữa hai mô hình có thể đạt độ chính xác 93%, vượt trội so với bất kỳ mô hình đơn lẻ nào. Đồng thời, do K3 có lợi thế chi phí đáng kể trên nền tảng Fireworks, chi phí thực hiện các nhiệm vụ đại lý dài hạn có thể thấp hơn Fable tới 50 lần. Báo cáo khuyến nghị nên chọn mô hình mã nguồn mở làm tùy chọn mặc định, kết hợp với bộ định tuyến học liên tục để tìm ra sự kết hợp tối ưu giữa nhiệm vụ và mô hình, nhằm cân bằng giữa chất lượng và chi phí.