A equipe de segurança da 1Password realizou uma avaliação, utilizando seis vulnerabilidades complexas em softwares como Linux e Chrome, para pedir ao ChatGPT 5.5 e ao Claude Opus 4.8 que gerassem patches, avaliando um total de 6.080 tentativas. Este estudo foi publicado em 6 de agosto. Os resultados mostraram que 26% dos patches corrigiram as vulnerabilidades sem comprometer as funcionalidades originais; 20,1% bloquearam as vulnerabilidades, mas alteraram negativamente outros comportamentos do programa. Cerca da metade não conseguiu corrigir a vulnerabilidade original, e alguns até introduziram novas vulnerabilidades. Os pesquisadores descobriram que, diante de vulnerabilidades no Spring AI, os modelos frequentemente escolhiam manipular apenas alguns caracteres especiais presentes nos exemplos de ataque. A instrução de ataque se tornava ineficaz, mas o código responsável pela vulnerabilidade permanecia inalterado. Com uma entrada diferente, o risco poderia retornar. Um patch entregue a você pode parecer útil e ter bloqueado um ataque uma vez, facilitando a queda na vigilância. “Avaliar o valor esperado de patches gerados inteiramente por grandes modelos sem revisão humana como claramente negativo” também é a conclusão dos autores do artigo. Eles temem exatamente essa situação: problemas antigos não resolvidos, enquanto as pessoas acreditam erroneamente que já foram resolvidos. Acho que, ao considerar a eficiência da programação por IA, é preciso incluir os custos de revisão, retrabalho e incidentes. Calcular apenas a velocidade de geração de código certamente dá um balanço mais atraente. As pessoas que escrevem código economizam tempo — mas as pessoas que conseguem identificar problemas no código também estão dispostas a serem eliminadas?