Ayon sa pagmamasid ng Beating, inilunsad ng OpenRouter ang Ori Eval upang tulungan ang mga developer na matukoy kung anong model ang dapat gamitin sa kanilang AI application. Ito ay susuriin ang codebase, makikita ang mga posisyon kung saan tinatawag ang mga model, at sasaklawin ang iba't ibang candidate model gamit ang totoong gawain sa proyekto. Maaaring piliin ng developer kung ano ang mas mahalaga: epekto, bilis, o gastos. Sa panahon ng pagtataya, ii-lock ng Ori Eval ang test framework, model configuration, at inference intensity, at magbibigay ng direkta na ranking upang maiwasan ang hindi pagkakapareho dahil sa iba't ibang kondisyon ng pagsubok. Bukod sa pagtataya kung magandang sagot ang ibinigay, sinusuri rin nito kung tama ang mga kasangkapan na tinatawag ng Agent at kung itinatanggal nito ang mga operasyon na hindi dapat gawin. Kapag ilarawan ng developer ang isang bug sa natural na wika, maaari itong lumikha ng isang test upang muling ipakita ang problema. Pagkatapos ay maaring i-integrate sa GitHub Actions; sa bawat pagbabago ng model, prompt, o code, awtomatikong susuriin kung bumalik ang problema. Ang pampublikong leaderboard ay nagpapakita lamang ng pangkalahatang kakayahan ng mga model at hindi direktang tumutugon sa tanong kung aling model ang dapat piliin para sa customer service, search, o programming products. Ginagawa ng Ori Eval ang proseso ng pagsubok ng bawat model nang manu-manu sa isang awtomatikong proseso batay sa totoong negosyo.
Lumunsad ang OpenRouter ng Ori Eval upang tulungan ang mga developer na piliin ang mga AI model
MarsBitI-share
Summary
Ang OpenRouter ay nag-anunsyo ng paglunsad ng Ori Eval, isang bagong kasangkapan upang tulungan ang mga developer na piliin ang pinakamahusay na AI models para sa kanilang mga proyekto. Ang Ori Eval ay nag-aanalis ng code repositories, sinusubok ang mga model gamit ang mga totoong gawain, at nagr-rank sa kanila batay sa performance, speed, o gastos. Ito ay nagtataguyod ng patas na pagsubok at nagsusuri kung tama ang paggamit ng mga kasangkapan. Maaaring mag-report ang mga developer ng mga bug sa natural na wika, at gumagawa ang Ori Eval ng mga test case upang muling ipakita ang mga isyu. Maaaring idagdag ang mga pagsubok na ito sa GitHub Actions para sa patuloy na pagpapatotoo. Dumating ang pagpapahayag ng proyektong ito habang patuloy na lumalago ang balita tungkol sa AI + crypto.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.