OpenRouter lance Ori Eval pour aider les développeurs à choisir des modèles d'IA

Selon Beating Monitoring, OpenRouter lance Ori Eval, un outil qui aide les développeurs à déterminer quel modèle utiliser pour leurs applications IA. Il analyse les dépôts de code pour identifier les appels aux modèles, puis exécute plusieurs modèles candidats sur des tâches réelles issues du projet. Les développeurs peuvent prioriser la qualité, la vitesse ou le coût. Pendant l'évaluation, Ori Eval verrouille le cadre de test, la configuration du modèle et l'intensité d'inférence, puis fournit directement un classement, évitant ainsi toute comparaison biaisée due à des conditions de test différentes. En plus d'évaluer la qualité des réponses, il vérifie si l'Agent utilise les bons outils et évite les opérations non autorisées. En décrivant un bogue en langage naturel, le développeur peut générer automatiquement un test de reproduction. Une fois le correctif appliqué, l'intégration avec GitHub Actions permet d'automatiser la vérification de la réapparition du bogue à chaque changement de modèle, de prompt ou de code. Les classements publics ne permettent de comparer que les capacités générales des modèles et ne répondent pas directement à la question : quel modèle choisir pour le service client, la recherche ou les produits de programmation ? Ori Eval transforme le processus manuel d'essais individuels en un flux automatisé basé sur des cas d'utilisation réels.