L'IA échoue à migrer des bases de code : taux d'échec de 94,6 % sur 20 tâches

iconKuCoinFlash
Partager
AI summary iconRésumé
Actualités IA + crypto : Einsia, une entreprise d’agents IA, a lancé le SWE Refactor Bench pour tester des agents de codage sur 20 migrations de code du monde réel. Les tâches incluaient C vers Rust, Maven vers Gradle et SQLite vers WASI. Seules 28 des 520 exécutions ont complètement réussi, avec un taux de réussite de 5,4 %. Treize tâches n’ont eu aucune completion. La configuration xhigh de Claude Opus 5 a obtenu le meilleur résultat avec cinq passes complètes. Les nouvelles sur les taux d’intérêt n’ont eu aucun impact sur les résultats.
ME AI News, Dongcha Beating AI Bulletin: AI Agent company Einsia releases the SWE Refactor Bench, specifically designed to test whether Coding Agents can migrate entire codebases on their own. The 20 tasks come from real projects such as SQLite, zlib, libsodium, and GraphHopper, including C to Rust, Maven to Gradle, and SQLite porting to WASI. Each task gives the Agent 6 to 30 hours. The first evaluation checkpoint verifies whether the old tech stack has truly been replaced, preventing Agents from passing by leaving behind legacy code; the second checkpoint runs over 130,000 static checks; finally, six independent Coding Agents are deployed, each spending one hour specifically to find hidden bugs. Eight cutting-edge models with 26 configurations ran a total of 520 trials. 340 trials successfully completed the migration, and 88 passed all pre-prepared tests—but among these, 60 were later found to contain hidden bugs in the final round. Ultimately, only 28 trials passed completely, yielding a pass rate of 5.4%; 13 out of the 20 tasks were not completed by any model. Claude Opus 5’s xhigh configuration performed best, fully completing 5 out of 20 tasks. Current Coding Agents can already perform large-scale code modifications, but achieving “complete system migration with zero errors” remains far from realized. (Source: BlockBeats)
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.