OpenRouter запускает Ori Eval, чтобы помочь разработчикам выбирать модели ИИ

Согласно данным Beating Monitoring, OpenRouter запустил Ori Eval, который помогает разработчикам определить, какую модель использовать для своих AI-приложений. Он сканирует репозиторий кода, находит места вызова моделей и тестирует несколько кандидатов на реальных задачах из проекта. Разработчики могут указать, что для них важнее: качество, скорость или стоимость. Во время тестирования Ori Eval фиксирует тестовую среду, конфигурацию модели и интенсивность вывода, после чего выдает прямой рейтинг, исключая возможность несопоставимости моделей из-за различий в условиях тестирования. Помимо оценки качества ответов, он проверяет, использует ли агент правильные инструменты и избегает нежелательных операций. Разработчик описывает баг на естественном языке — система генерирует тест для его воспроизведения. После исправления можно подключить GitHub Actions, чтобы автоматически проверять, не возвращается ли проблема при смене модели, изменении промпта или кода. Открытые рейтинги позволяют сравнивать общие способности моделей, но не помогают выбрать подходящую для службы поддержки, поиска или программных продуктов. Ori Eval превращает ручной перебор моделей в автоматизированный процесс выбора на основе реальных бизнес-задач.