Beating मॉनिटरिंग के अनुसार, OpenRouter ने Ori Eval लॉन्च किया है, जो डेवलपर्स को अपने AI एप्लिकेशन के लिए कौन सा मॉडल चुनना है, यह निर्णय लेने में मदद करता है। यह कोडबेस को स्कैन करता है, मॉडल को कॉल करने वाले स्थानों को पहचानता है, और फिर प्रोजेक्ट में वास्तविक कार्यों का उपयोग करके कई उम्मीदवार मॉडल्स का परीक्षण करता है। डेवलपर्स अपने लिए प्रदर्शन, गति या लागत में से किस पर अधिक ध्यान देना है, यह निर्दिष्ट कर सकते हैं। परीक्षण के दौरान, Ori Eval परीक्षण फ्रेमवर्क, मॉडल कॉन्फ़िगरेशन और इनफ़रेंस इंटेंसिटी को लॉक कर देता है, और अंततः सीधे रैंकिंग प्रदान करता है, ताकि अलग-अलग परीक्षण परिस्थितियों के कारण मॉडल्स की तुलना न हो सके। यह केवल उत्तरों की गुणवत्ता का मूल्यांकन ही नहीं करता, बल्कि यह भी जाँचता है कि Agent सही टूल्स का उपयोग कर रहा है या नहीं, और क्या यह अनुचित संचालन से बच रहा है। डेवलपर्स प्राकृतिक भाषा में एक बग का वर्णन कर सकते हैं, और Ori Eval समस्या को पुनःउत्पन्न करने के लिए एक परीक्षण स्वचालित रूप से जेनरेट करता है। समाधान के बाद, GitHub Actions में समाहित करें, और भविष्य में मॉडल, prompt, या कोड में परिवर्तन करने पर, स्वचालित रूप से सुनिश्चित होगा कि समस्या पुनः प्रकट हुई है या नहीं। सार्वजनिक सूची केवल मॉडल्स की सामान्य क्षमताओं की तुलना कर सकती है, लेकिन सीधे रिपोर्टिंग, सर्च, या प्रोग्रामिंग प्रोडक्ट्स के लिए कौन सा मॉडल चुनना है, इसका उत्तर नहीं दे सकती। Ori Eval, मॉडल्स को हाथ से प्रत्येक का परीक्षण करने की प्रक्रिया को, वास्तविक व्यवसाय-आधारित स्वचालित सिफारिश प्रक्रिया में बदल देता है।
OpenRouter ने डेवलपर्स को AI मॉडल चुनने में मदद करने के लिए Ori Eval लॉन्च किया
MarsBitसाझा करें
सारांश
OpenRouter ने Ori Eval की शुरुआत की घोषणा की है, जो विकासकर्ताओं को अपने प्रोजेक्ट्स के लिए सबसे अच्छे AI मॉडल्स चुनने में मदद करेगा। Ori Eval कोड रिपॉजिटरीज़ का विश्लेषण करता है, वास्तविक कार्यों के साथ मॉडल्स का परीक्षण करता है, और उन्हें प्रदर्शन, गति या लागत के आधार पर रैंक करता है। यह सुनिश्चित करता है कि परीक्षण निष्पक्ष हों और उपकरणों का सही उपयोग हो रहा हो। विकासकर्ता प्राकृतिक भाषा में बग्स की रिपोर्ट कर सकते हैं, और Ori Eval समस्याओं को पुनः उत्पन्न करने के लिए परीक्षण मामले बनाता है। इन परीक्षणों को GitHub Actions में जोड़कर निरंतर सत्यापन किया जा सकता है। यह प्रोजेक्ट घोषणा AI + क्रिप्टो समाचार के बढ़ते प्रवाह के साथ आई है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।