IA falha na migração de bases de código: taxa de falha de 94,6% em 20 tarefas

iconKuCoinFlash
Compartilhar
AI summary iconResumo
Notícias de IA + criptomoeda: A Einsia, uma empresa de agentes de IA, lançou o SWE Refactor Bench para testar agentes de codificação em 20 migrações de código do mundo real. As tarefas incluíram C para Rust, Maven para Gradle e SQLite para WASI. Apenas 28 das 520 execuções passaram completamente, com uma taxa de sucesso de 5,4%. Treze tarefas tiveram zero conclusões. A configuração xhigh do Claude Opus 5 liderou com cinco conclusões completas. As notícias sobre taxas de juros não tiveram impacto nos resultados.
ME AI Notícias, Beating AI Flash: A empresa de AI Agent Einsia lançou o SWE Refactor Bench, projetado especificamente para testar se agentes de codificação conseguem migrar inteiramente um repositório de código. Vinte tarefas derivam de projetos reais como SQLite, zlib, libsodium e GraphHopper, incluindo migrações de C para Rust, Maven para Gradle e a portabilidade do SQLite para WASI. Cada tarefa concede ao agente entre 6 e 30 horas. A primeira fase da avaliação verifica se a antiga pilha tecnológica foi realmente substituída, evitando que o agente simplesmente mantenha o código antigo. A segunda fase executa mais de 130 mil verificações fixas. Por fim, seis agentes de codificação independentes são enviados, cada um gastando uma hora para encontrar bugs ocultos. Oito modelos avançados e 26 configurações foram testados, totalizando 520 execuções. 340 execuções completaram a migração com sucesso, 88 passaram em todos os testes pré-preparados, mas 60 delas foram posteriormente descobertas por bugs ocultos na última rodada. Apenas 28 execuções passaram completamente, com uma taxa de aprovação de 5,4%; em 20 tarefas, 13 não foram concluídas por ninguém. A configuração xhigh do Claude Opus 5 foi a melhor, completando integralmente 5 das 20 tarefas. Os agentes de codificação atuais já conseguem modificar grandes volumes de código, mas ainda estão muito longe de alcançar o nível de “migrar todo o sistema sem nenhum erro”. (Fonte: BlockBeats)
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.