OpenRouter lanza Ori Eval para ayudar a los desarrolladores a elegir modelos de IA

Según el monitoreo de Beating, OpenRouter ha lanzado Ori Eval, una herramienta que ayuda a los desarrolladores a determinar qué modelo utilizar para sus aplicaciones de IA. Escanea los repositorios de código para identificar las llamadas a modelos y ejecuta múltiples modelos candidatos con tareas reales del proyecto. Los desarrolladores pueden especificar si priorizan rendimiento, velocidad o costo. Durante la evaluación, Ori Eval bloquea el marco de prueba, la configuración del modelo y la intensidad de inferencia, y proporciona directamente un ranking para evitar comparaciones inválidas debido a condiciones de prueba distintas. Además de evaluar la calidad de las respuestas, verifica si el agente utiliza las herramientas correctas y evita operaciones no permitidas. Si un desarrollador describe un error en lenguaje natural, Ori Eval genera automáticamente una prueba para reproducirlo. Tras solucionarlo, se integra con GitHub Actions para que, al cambiar de modelo, modificar el prompt o actualizar el código, se verifique automáticamente si el error vuelve a aparecer. Las listas públicas solo permiten comparar la capacidad general de los modelos, pero no responden directamente qué modelo elegir para soporte al cliente, búsqueda o productos de programación. Ori Eval transforma el proceso manual de probar modelos uno por uno en un flujo automático basado en casos de uso reales.