Tim keamanan 1Password melakukan evaluasi, menggunakan 6 kerentanan kompleks dari perangkat lunak seperti Linux dan Chrome, dan meminta ChatGPT 5.5 serta Claude Opus 4.8 untuk menghasilkan patch. Mereka mengevaluasi sebanyak 6.080 upaya. Penelitian ini dipublikasikan pada 6 Agustus. Hasilnya, 26% patch berhasil memperbaiki kerentanan tanpa merusak fungsionalitas asli; 20,1% menutup kerentanan tetapi mengubah perilaku lain dari program. Sekitar setengahnya bahkan tidak berhasil memperbaiki kerentanan asli, dan beberapa justru menambahkan kerentanan baru. Para peneliti menemukan bahwa saat menghadapi kerentanan Spring AI, model sering memilih menangani beberapa karakter khusus dalam contoh serangan. Perintah serangan itu gagal, tetapi kode yang menyebabkan kerentanan tetap tidak tersentuh. Dengan input yang berbeda, risiko bisa muncul kembali. Patch yang diberikan kepada Anda tampak berguna dan memang berhasil menghalangi satu serangan, sehingga mudah membuat Anda menjadi lengah. “Patch yang sepenuhnya dihasilkan oleh model besar tanpa tinjauan manusia memiliki nilai harapan negatif yang jelas” juga merupakan kesimpulan para penulis paper. Mereka semakin khawatir akan situasi seperti ini—masalah lama belum terselesaikan, tetapi orang justru salah percaya bahwa masalah sudah teratasi. Saya berpikir, saat menghitung efisiensi AI dalam pemrograman, kita harus mempertimbangkan biaya tinjauan, pengulangan, dan kegagalan secara keseluruhan. Hanya menghitung seberapa cepat kode dihasilkan memang membuat angka terlihat bagus. Orang yang menulis kode dihemat—tetapi apakah orang yang mampu melihat masalah pada kode juga siap dihemat?