OpenRouter lança o Ori Eval para ajudar desenvolvedores a escolher modelos de IA

De acordo com o monitoramento da Beating, o OpenRouter lançou o Ori Eval, que ajuda desenvolvedores a determinar qual modelo usar para suas aplicações de IA. Ele varre o repositório de código, identifica os pontos onde os modelos são chamados e executa múltiplos modelos candidatos usando tarefas reais do projeto. Os desenvolvedores podem especificar se priorizam desempenho, velocidade ou custo. Durante a avaliação, o Ori Eval bloqueia o framework de teste, a configuração do modelo e a intensidade de inferência, fornecendo diretamente uma classificação final para evitar comparações inválidas entre modelos devido a condições de teste diferentes. Além de avaliar a qualidade das respostas, ele verifica se o agente chamou as ferramentas corretas e evitou operações indevidas. Ao descrever um bug em linguagem natural, ele gera automaticamente um teste para reproduzi-lo. Após a correção, ao integrar com o GitHub Actions, qualquer mudança posterior no modelo, no prompt ou no código será automaticamente verificada para garantir que o problema não reapareça. Listas públicas só permitem comparar a capacidade geral dos modelos, mas não respondem diretamente qual modelo escolher para atendimento ao cliente, busca ou produtos de programação. O Ori Eval transforma o processo manual de testar modelos um a um em um fluxo automático baseado em casos reais de negócios.