Pasukan keselamatan 1Password menjalankan ujian yang menilai 6 kelemahan kompleks dalam perisian seperti Linux dan Chrome, meminta ChatGPT 5.5 dan Claude Opus 4.8 untuk menghasilkan pemaik, dengan 6,080 percubaan dinilai. Kajian ini diterbitkan pada 6 Ogos. Hasilnya, 26% pemaik berjaya membaiki kelemahan tanpa merosakkan fungsi asal; 20.1% menutup kelemahan tetapi mengubah tingkah laku lain dalam program. Sekitar separuh gagal membaiki kelemahan asal, dan beberapa malah menambah kelemahan baharu. Para penyelidik mendapati bahawa model sering memilih untuk mengendalikan beberapa karakter khas dalam contoh serangan terhadap kelemahan Spring AI. Arahan serangan itu menjadi tidak berkesan, tetapi kod yang menyebabkan kelemahan itu tidak disentuh. Dengan input yang berbeza, risiko itu boleh kembali. Pemaik yang diberikan kepada anda kelihatan berguna dan memang berjaya menghalang satu serangan, menjadikan orang mudah menjadi kurang berhati-hati. “Pemaik yang dihasilkan sepenuhnya oleh model besar tanpa pengesahan manusia mempunyai nilai jangkaan negatif yang jelas” juga merupakan kesimpulan penulis kertas ini. Mereka bimbang situasi ini—masalah lama belum selesai, tetapi orang tersilap fikir ia sudah diselesaikan. Saya rasa, apabila mengira kecekapan AI dalam pemrograman, kita perlu mengira kos pengesahan, semula jadi, dan kegagalan bersama-sama. Hanya mengira seberapa pantas kod dihasilkan memang memberi gambaran yang cantik. Orang yang menulis kod diselamatkan—tetapi adakah orang yang mampu mengenal pasti masalah dalam kod juga bersedia untuk dihapuskan?