OpenRouter, Geliştiricilerin Yapay Zeka Modellerini Seçmesine Yardımcı Olmak İçin Ori Eval’i Başlatıyor

Beating İzleme'ye göre, OpenRouter, Ori Eval'i tanıttı ve geliştiricilerin kendi AI uygulamaları için hangi modeli kullanacaklarını belirlemelerine yardımcı oluyor. Ori Eval, kod tabanını tarayarak model çağrılarını bulur ve projedeki gerçek görevleri kullanarak birden fazla aday modeli test eder. Geliştiriciler, performans, hız veya maliyet açısından hangi faktörün daha önemli olduğunu belirtebilir. Değerlendirme sırasında, Ori Eval test çerçevesini, model yapılandırmalarını ve çıkarım yoğunluğunu sabitler ve farklı modellerin test koşulları nedeniyle karşılaştırılamamasını önler; sonuç olarak doğrudan bir sıralama sunar. Sadece cevapların kalitesini değerlendirmekle kalmaz, aynı zamanda Agent'in doğru araçları çağırıp çağırmediğini ve yürütülmemesi gereken işlemleri kaçınıp kaçınmadığını da kontrol eder. Geliştiriciler bir hatayı doğal dilde tanımladığında, Ori Eval bu hatayı tekrar üretmek için bir test oluşturur. Düzeltildikten sonra GitHub Actions'a entegre edilirse, sonraki model değişiklikleri, prompt ayarlamaları veya kod değişiklikleri sırasında otomatik olarak hatanın tekrar ortaya çıkıp çıkmadığı kontrol edilir. Kamuya açık sıralamalar yalnızca modellerin genel yeteneklerini karşılaştırabilir, ancak müşteri hizmetleri, arama veya programlama ürünlerinde hangi modelin seçileceğini doğrudan cevaplayamaz. Ori Eval, her bir modeli elle denemeyi, gerçek iş süreçlerine dayalı otomatik bir seçim sürecine dönüştürür.