Nabigo ang AI sa Pagmigrar ng Mga Codebase: 94.6% Rate ng Pagkabigo sa 20 Mga Gawaing

iconKuCoinFlash
I-share
AI summary iconSummary
AI + crypto news: Ang Einsia, isang kumpanya ng AI Agent, ay inilabas ang SWE Refactor Bench upang subukan ang mga coding agent sa 20 real-world code migrations. Kasama sa mga gawain ang C patungo sa Rust, Maven patungo sa Gradle, at SQLite patungo sa WASI. Tanging 28 sa 520 na pagpapatakbo ang lubos na nakapasa, na may 5.4% na rate ng tagumpay. Mayroong labing-tatlong gawain na walang kompletong pagkakataon. Ang xhigh configuration ni Claude Opus 5 ang nangunguna na may limang lubos na pagpasa. Walang epekto ang balita tungkol sa interest rate sa mga resulta.
ME AI Mensahe, Beating AI News Flash: Ang AI Agent company na Einsia ay naglabas ng SWE Refactor Bench, na espesyal na nagtatala kung ang Coding Agent ay makakapag-migrate ng buong codebase. Ang 20 mga gawain ay galing sa totoong proyekto tulad ng SQLite, zlib, libsodium, at GraphHopper, kabilang ang pagbabago mula sa C patungo sa Rust, Maven patungo sa Gradle, at ang pag-port ng SQLite patungo sa WASI. Bawat gawain ay binigyan ng 6～30 oras sa Agent. Ang unang pagsusuri ay tinitiyak kung ang lumang teknolohiya ay talagang nalilipat—upang maiwasan ang pag-iwan ng lumang code. Ang pangalawang pagsusuri ay tumatakbo ng higit sa 130,000 mga fixed checks. Sa huli, anim na independiyenteng Coding Agent ay ipinadala, bawat isa ay gumagamit ng isang oras upang espesyal na hanapin ang mga nakatago na bug. Ang 8 na pinakamodernong modelo at 26 na configuration ay nag-run ng 520 beses. Ang 340 beses ay natapos ang migration, at 88 beses ay nakapasa sa lahat ng pre-prepared na mga pagsubok, ngunit 60 sa kanila ay natagpuan ng mga nakatago na bug sa huling round. Sa wakas, mayroon lamang 28 beses na nakapasa nang buo, na may rate na 5.4%; sa 20 mga gawain, may 13 na hindi natapos ng sinuman. Ang Claude Opus 5 na xhigh configuration ang pinakamahusay, na nakapasa nang buo sa 5 sa 20 mga gawain. Ang kasalukuyang Coding Agent ay nakakapagbago ng malalaking codebase, ngunit upang makamit ang “buong sistema ay mabago nang walang anumang error,” mayroon pa ring malaking pagkakaiba. (Pinagmulan: BlockBeats)
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.