За даними Beating Monitoring, OpenRouter запустив Ori Eval, щоб допомогти розробникам визначити, яку модель використовувати для своїх AI-додатків. Він сканує репозиторій коду, знаходить місця виклику моделей та запускає кілька кандидатів на реальних завданнях з проекту. Розробники можуть вказати, чи їм важливіше якість, швидкість чи вартість. Під час оцінки Ori Eval фіксує тестовий фреймворк, конфігурацію моделей та інтенсивність виведення, а потім надає безпосередній рейтинг, уникнувши порівняння моделей за різних умов тестування. Крім оцінки якості відповідей, він перевіряє, чи Agent використовує правильні інструменти та уникнув неприпустимих дій. Розробник може описати баг словесно — Ori Eval згенерує тест для його відтворення. Після виправлення можна підключити GitHub Actions, щоб автоматично перевіряти, чи не з’явився баг знову після зміни моделі, prompt або коду. Публічні рейтинги дозволяють порівнювати лише загальну здатність моделей, але не відповідають на питання, яку модель обрати для служби підтримки, пошуку чи програмування. Ori Eval перетворює ручне тестування кожної моделі на автоматизований процес вибору на основі реальних бізнес-завдань.
OpenRouter запускає Ori Eval, щоб допомогти розробникам вибирати моделі ШІ
MarsBitПоділитися
Короткий зміст
OpenRouter оголосив про запуск Ori Eval — нового інструменту, який допомагає розробникам вибирати найкращі AI-моделі для своїх проектів. Ori Eval аналізує репозиторії коду, тестує моделі на реальних завданнях і ранжує їх за продуктивністю, швидкістю або вартістю. Він забезпечує справедливе тестування та перевіряє правильне використання інструментів. Розробники можуть повідомляти про баги природною мовою, а Ori Eval створює тестові випадки для відтворення проблем. Ці тести можна додавати до GitHub Actions для постійної перевірки. Це оголошення проекту надходить на тлі постійного зростання новин про AI + криптовалюти.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.