اوپن راؤٹر نے ڈویلپرز کو AI ماڈلز کا انتخاب کرنے میں مدد کے لیے اوری ایوال شروع کیا ہے

Beating مانیٹرنگ کے مطابق، OpenRouter نے Ori Eval شروع کیا ہے، جو ڈیولپرز کو اپنے AI ایپلیکیشن کے لیے کون سا ماڈل استعمال کرنا چاہیے، اس کا فیصلہ کرنے میں مدد کرتا ہے۔ یہ کوڈ بیس کو اسکین کرتا ہے، ماڈل کے کالز کو تلاش کرتا ہے، اور پھر پروجیکٹ میں موجود حقیقی کاموں کے ذریعے کئی امیدوار ماڈلز کو ٹیسٹ کرتا ہے۔ ڈیولپرز اپنے لیے اثر، رفتار یا لاگت میں سے کس پر زور دینا چاہتے ہیں، اس کا انتخاب کر سکتے ہیں۔ ٹیسٹنگ کے دوران، Ori Eval ٹیسٹ فریم ورک، ماڈل کنفگریشن اور انفرینس طاقت کو لاک کر دیتا ہے، اور آخر میں براہ راست رینکنگ فراہم کرتا ہے تاکہ مختلف ماڈلز کا موازنہ ناقص ٹیسٹنگ شرائط کی وجہ سے نہ ہو سکے۔ یہ صرف جواب کی بھلائی کا جائزہ لینے تک محدود نہیں، بلکہ یہ چیک بھی کرتا ہے کہ Agent درست ٹولز استعمال کر رہا ہے یا نہیں، اور غلط آپریشنز سے بچ رہا ہے یا نہیں۔ ڈیولپرز ایک بگ کو قدرتی زبان میں بیان کرتے ہیں، اور وہ اس مسئلے کو دوبارہ پیدا کرنے والی ایک ٹیسٹ تخلیق کر دیتا ہے۔ جب آپ اسے درست کر دیتے ہیں تو GitHub Actions سے جوڑ دیتے ہیں، اور بعد میں جب بھی آپ ماڈل، prompt یا کوڈ تبدیل کریں، تو خودکار طور پر چیک ہو جائے گا کہ مسئلہ دوبارہ ظاہر ہوا ہے یا نہیں۔ عوامی رینکنگ صرف ماڈلز کی عام صلاحیتوں کا موازنہ کر سکتی ہے، لیکن سروس دہندگان، تلاش یا پروگرامنگ پروڈکٹس کے لیے کون سا ماڈل منتخب کرنا چاہئے، اس سوال کا جواب نہیں دے سکتی۔ Ori Eval اس عمل کو جس میں آپ ہر ماڈل کو الگ الگ دستی طور پر آزماتے تھے، اسے حقیقی بازار ضرورت پر مبنی خودکار سلکشن پروسس میں تبدیل کر دेतا ہے۔