OpenRouter ra mắt Ori Eval để hỗ trợ các nhà phát triển lựa chọn các mô hình AI

Theo giám sát của Beating, OpenRouter đã ra mắt Ori Eval, giúp các nhà phát triển xác định mô hình nào phù hợp nhất cho ứng dụng AI của họ. Nó quét kho mã nguồn, tìm các vị trí gọi mô hình, sau đó chạy nhiều mô hình ứng cử viên với các nhiệm vụ thực tế trong dự án. Nhà phát triển có thể chỉ định ưu tiên hiệu suất, tốc độ hay chi phí. Trong quá trình đánh giá, Ori Eval sẽ cố định khung thử nghiệm, cấu hình mô hình và cường độ suy luận, sau đó đưa ra xếp hạng trực tiếp để tránh việc các mô hình không thể so sánh do điều kiện thử nghiệm khác nhau. Ngoài việc đánh giá chất lượng câu trả lời, nó còn kiểm tra xem Agent có sử dụng đúng công cụ và tránh các thao tác không nên thực hiện hay không. Khi nhà phát triển mô tả một lỗi bằng ngôn ngữ tự nhiên, nó sẽ tạo ra một bài kiểm tra tái hiện vấn đề. Sau khi sửa lỗi, tích hợp với GitHub Actions, mọi lần thay đổi mô hình, chỉnh prompt hoặc mã nguồn sau này đều sẽ tự động kiểm tra xem lỗi có quay lại hay không. Bảng xếp hạng công khai chỉ có thể so sánh khả năng tổng quát của các mô hình, nhưng không thể trực tiếp trả lời câu hỏi nên chọn mô hình nào cho các sản phẩm như hỗ trợ khách hàng, tìm kiếm hoặc lập trình. Ori Eval biến quá trình thử nghiệm thủ công từng mô hình thành một quy trình tự động lựa chọn dựa trên các nhiệm vụ thực tế.