L'équipe de sécurité de 1Password a mené une évaluation dans laquelle elle a utilisé six vulnérabilités complexes présentes dans des logiciels tels que Linux et Chrome, demandant à ChatGPT 5.5 et Claude Opus 4.8 de générer des correctifs, et a évalué au total 6 080 tentatives. Cette étude a été publiée le 6 août. Les résultats montrent que 26 % des correctifs ont résolu les vulnérabilités sans altérer les fonctionnalités existantes ; 20,1 % ont comblé les vulnérabilités mais ont modifié de manière indésirable d'autres comportements du programme. Environ la moitié n'ont même pas corrigé la vulnérabilité d'origine, et certains ont introduit de nouvelles vulnérabilités. Les chercheurs ont constaté que, face à des vulnérabilités dans Spring AI, les modèles choisissaient souvent de traiter quelques caractères spécifiques présents dans les exemples d'attaque. L'instruction d'attaque devenait inefficace, mais le code à l'origine de la vulnérabilité restait inchangé. Un autre type d'entrée pourrait réactiver le risque. Un correctif qui semble fonctionnel et qui a déjà bloqué une attaque peut facilement induire en erreur et réduire la vigilance. « L'espérance de valeur d'un correctif entièrement généré par un grand modèle, sans revue humaine, est clairement négative », estiment les auteurs de l'étude. Ils craignent précisément cette situation : les problèmes anciens non résolus, accompagnés d'une fausse impression de sécurité. Je pense que pour évaluer l'efficacité de l'IA dans la programmation, il faut inclure les coûts liés à la revue, aux révisions et aux incidents. Ne compter que la vitesse de génération de code donne un bilan trompeusement positif. On économise sur les développeurs, mais prévoit-on aussi d'économiser sur les personnes capables de détecter les problèmes dans le code ?