OpenRouter melancarkan Ori Eval untuk membantu pembangun memilih model AI

Berdasarkan pemantauan Beating, OpenRouter melancarkan Ori Eval, yang membantu pembangun menentukan model mana yang sesuai untuk aplikasi AI mereka. Ia akan memindai repositori kod, mengenal pasti lokasi pemanggilan model, kemudian menjalankan pelbagai model calon menggunakan tugas sebenar dari projek tersebut. Pembangun boleh menentukan prioriti mereka sama ada keberkesanan, kelajuan, atau kos. Semasa penilaian, Ori Eval akan mengunci kerangka ujian, konfigurasi model, dan kekuatan inferens, lalu memberikan peringkat langsung untuk mengelakkan perbandingan yang tidak adil akibat perbezaan syarat ujian. Selain menilai kualiti jawapan, ia juga memeriksa sama ada Agent memanggil alat yang betul dan mengelakkan tindakan yang tidak sepatutnya dilakukan. Apabila pembangun menggambarkan satu ralat menggunakan bahasa semula jadi, ia boleh menghasilkan ujian untuk mereplikasi masalah tersebut. Selepas diperbaiki, ia boleh disambungkan ke GitHub Actions, membolehkan pemeriksaan automatik sama ada masalah berulang semasa menukar model, mengubah prompt, atau mengubah kod. Senarai awam hanya membolehkan perbandingan kemampuan umum model, tetapi tidak dapat secara langsung menjawab soalan model mana yang sesuai untuk perkhidmatan pelanggan, carian, atau produk pengaturcaraan. Ori Eval mengubah proses percubaan model secara manual satu per satu menjadi aliran pemilihan automatik berdasarkan bisnes sebenar.