يطلق OpenRouter Ori Eval لمساعدة المطورين على اختيار نماذج الذكاء الاصطناعي

وفقًا لمراقبة Beating، أطلقت OpenRouter Ori Eval لمساعدة المطورين على تحديد النموذج الأنسب لتطبيقاتهم الذكية. يقوم Ori Eval بمسح مكتبة الكود لتحديد مواقع استدعاء النماذج، ثم يختبر عدة نماذج مرشحة باستخدام مهام حقيقية من المشروع. يمكن للمطورين تحديد ما إذا كانوا يفضلون الأداء أو السرعة أو التكلفة. أثناء التقييم، يُقفل إطار الاختبار وتكوين النموذج وشدة الاستنتاج، ثم يقدم ترتيبًا مباشرًا لتجنب مقارنات غير عادلة بسبب اختلاف ظروف الاختبار. بالإضافة إلى تقييم جودة الإجابات، يتحقق Ori Eval مما إذا كان العامل يستخدم الأدوات الصحيحة ويتجنب العمليات غير المسموح بها. عندما يصف المطور عطلًا بلغة طبيعية، فإنه يولد اختبارًا لإعادة إنتاج المشكلة. بعد الإصلاح، يمكن ربطه بـ GitHub Actions، بحيث يتم التحقق تلقائيًا من عودة المشكلة عند تغيير النموذج أو الـ prompt أو الكود. القوائم العامة تسمح فقط بمقارنة القدرات العامة للنماذج، ولا تجيب مباشرة على سؤال أي نموذج يجب اختياره لخدمات العملاء أو البحث أو المنتجات البرمجية. Ori Eval يحول عملية التجربة اليدوية للنماذج واحدة تلو الأخرى إلى عملية آلية مبنية على مهام عمل حقيقية.