El equipo de seguridad de 1Password realizó una evaluación en la que utilizó seis vulnerabilidades complejas en software como Linux y Chrome, y pidió a ChatGPT 5.5 y Claude Opus 4.8 que generaran parches, evaluando un total de 6.080 intentos. Este estudio se publicó el 6 de agosto. Los resultados mostraron que el 26% de los parches corrigieron la vulnerabilidad sin afectar las funciones originales; el 20,1% cerró la vulnerabilidad pero alteró negativamente otros comportamientos del programa. Aproximadamente la mitad no logró corregir la vulnerabilidad original, y algunos incluso introdujeron nuevas vulnerabilidades. Los investigadores descubrieron que, frente a vulnerabilidades en Spring AI, los modelos a menudo optaban por manipular solo algunos caracteres específicos dentro del ejemplo de ataque. La instrucción de ataque se volvía ineficaz, pero el código responsable de la vulnerabilidad permanecía intacto. Con una entrada diferente, el riesgo podría reaparecer. Un parche entregado en tus manos puede parecer útil y haber bloqueado un ataque en una ocasión, lo que fácilmente lleva a bajar la guardia. «El valor esperado de parches generados completamente por modelos grandes sin revisión humana es claramente negativo», también es la conclusión de los autores del artículo. Lo que temen es precisamente esta situación: problemas antiguos sin resolver, mientras se genera una falsa sensación de que ya se han solucionado. Creo que, al evaluar la eficiencia de la programación con IA, hay que incluir los costos de revisión, rework y posibles incidentes. Solo contar cuán rápido se genera el código hace que las cuentas parezcan favorables. ¿Se ahorrará también el costo de las personas que deben detectar problemas en el código?