La IA falla al migrar bases de código: 94,6% de tasa de fracaso en 20 tareas

iconKuCoinFlash
Compartir
AI summary iconResumen
Noticias de IA y cripto: Einsia, una empresa de agentes de IA, lanzó el SWE Refactor Bench para probar agentes de codificación en 20 migraciones de código del mundo real. Las tareas incluyeron C a Rust, Maven a Gradle y SQLite a WASI. Solo 28 de 520 ejecuciones pasaron completamente, con una tasa de éxito del 5,4%. Trece tareas tuvieron cero completaciones. La configuración xhigh de Claude Opus 5 lideró con cinco pasos completos. Las noticias sobre tasas de interés no tuvieron impacto en los resultados.
ME AI Noticias, Beating AI Flash: La empresa de agentes de IA Einsia lanzó SWE Refactor Bench, diseñado específicamente para evaluar si los agentes de codificación pueden migrar completamente una base de código. Los 20 casos provienen de proyectos reales como SQLite, zlib, libsodium y GraphHopper, incluyendo migraciones de C a Rust, Maven a Gradle y la portabilidad de SQLite a WASI. A cada agente se le otorgan entre 6 y 30 horas por tarea. La primera evaluación verifica que la pila tecnológica antigua haya sido realmente reemplazada, evitando que el agente simplemente mantenga código antiguo; la segunda ejecuta más de 130,000 verificaciones fijas; finalmente, se asignan 6 agentes de codificación independientes, cada uno dedicando 1 hora a buscar errores ocultos. Se ejecutaron 520 pruebas con 8 modelos avanzados y 26 configuraciones. En 340 ocasiones se completó la migración, y en 88 se logró pasar todas las pruebas predefinidas, pero 60 de estas fueron descubiertas con errores ocultos en la última ronda. Solo 28 pruebas superaron completamente el examen, con una tasa de aprobación del 5.4%; en 13 de los 20 casos nadie logró completarlos. La configuración xhigh de Claude Opus 5 obtuvo los mejores resultados, completando con éxito 5 de los 20 casos. Los agentes de codificación actuales ya pueden modificar grandes volúmenes de código, pero aún están muy lejos de lograr "cambiar todo un sistema sin cometer errores". (Fuente: BlockBeats)
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.