Parehong modelo, parehong gawain, at isang harness ay dalawang beses ang gastos bawat nalulutas na gawain. Garry Tan ay nagpapatakbo ng open source evals na nagpapalit lamang ng wrapper sa paligid ng modelo. Sa Opus, ang OpenClaw ay nagbabayad ng halos $0.44 bawat solusyon at ~99s bawat subok. Ang Claude naman ay $0.22 at 40s. Sa Sol, ang Codex ang pinakamura sa $0.17. Hindi nagkakaroon ng pagkakaiba ang mga score. 7 setup, 20 coding tasks, lahat ay nakuha ang 71-79%, at 14 sa 20 na gawain ay naging identikal sa lahat ng lugar. Kaya ang pagsusulit ay sobrang madali (ang mas mahirap na terminal-bench rerun ay kasalukuyang nasa pagpapatakbo). Lahat ng nag-uusap tungkol sa kung aling agent ang pinakamatalino ay nag-uusap tungkol sa 6 na gawain lamang ngayon. Pipiliin ko ang mas mura at hihintayin ang rerun.
Sad CreatorI-share
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.