OpenRouter Meluncurkan Ori Eval untuk Membantu Pengembang Memilih Model AI

Menurut pemantauan Beating, OpenRouter meluncurkan Ori Eval, yang membantu pengembang menentukan model mana yang harus digunakan untuk aplikasi AI mereka. Ori Eval akan memindai repositori kode, mengidentifikasi lokasi pemanggilan model, lalu menjalankan berbagai model kandidat dengan tugas nyata dari proyek tersebut. Pengembang dapat menentukan prioritas mereka—apakah lebih mengutamakan kinerja, kecepatan, atau biaya. Selama evaluasi, Ori Eval akan mengunci kerangka pengujian, konfigurasi model, dan intensitas inferensi, lalu memberikan peringkat langsung untuk menghindari perbandingan yang tidak adil akibat perbedaan kondisi pengujian. Selain menilai kualitas jawaban, Ori Eval juga memeriksa apakah Agent memanggil alat yang tepat dan menghindari operasi yang seharusnya tidak dieksekusi. Pengembang dapat mendeskripsikan bug dalam bahasa alami, dan Ori Eval akan menghasilkan tes untuk mereproduksi masalah tersebut. Setelah diperbaiki, integrasi dengan GitHub Actions memungkinkan pemeriksaan otomatis apakah masalah muncul kembali setelah mengganti model, mengubah prompt, atau mengubah kode. Daftar publik hanya dapat membandingkan kemampuan umum model, tetapi tidak dapat secara langsung menjawab model mana yang harus dipilih untuk produk layanan pelanggan, pencarian, atau pemrograman. Ori Eval mengubah proses uji coba model secara manual satu per satu menjadi alur seleksi otomatis berbasis bisnis nyata.