Đội an ninh của 1Password đã thực hiện một đánh giá, sử dụng 6 lỗ hổng phức tạp trong các phần mềm như Linux và Chrome, yêu cầu ChatGPT 5.5 và Claude Opus 4.8 tạo bản vá, sau đó đánh giá tổng cộng 6.080 lần thử nghiệm. Nghiên cứu này được công bố vào ngày 6 tháng 8. Kết quả cho thấy, 26% các bản vá đã sửa được lỗ hổng mà không làm hỏng chức năng hiện có; 20,1% đã chặn được lỗ hổng nhưng làm thay đổi sai các hành vi khác của chương trình. Khoảng một nửa không sửa được lỗ hổng ban đầu, và một số còn tạo ra các lỗ hổng mới. Các nhà nghiên cứu phát hiện rằng, khi đối mặt với lỗ hổng của Spring AI, các mô hình thường chọn xử lý một vài ký tự đặc biệt trong ví dụ tấn công. Lệnh tấn công đó trở nên vô hiệu, nhưng mã gây ra lỗ hổng vẫn không bị sửa đổi. Với một đầu vào khác, rủi ro có thể quay trở lại. Bản vá bạn nhận được có vẻ hữu ích và đã ngăn được một cuộc tấn công, khiến bạn dễ dàng buông lỏng cảnh giác. “Các bản vá được tạo hoàn toàn bởi mô hình lớn mà không có sự kiểm duyệt của con người có giá trị kỳ vọng rõ ràng là âm” cũng là kết luận của các tác giả bài báo. Họ lo ngại chính là tình huống này: vấn đề cũ chưa được giải quyết, nhưng lại khiến người ta lầm tưởng rằng mọi việc đã được xử lý. Tôi cho rằng, khi tính toán hiệu quả của AI trong lập trình, cần tính cả chi phí kiểm duyệt, sửa chữa lại và hậu quả khi xảy ra sự cố. Chỉ tính đến tốc độ sinh mã thì báo cáo mới đẹp. Người viết mã đã tiết kiệm, vậy người có khả năng phát hiện lỗi trong mã cũng sẽ cùng tiết kiệm luôn sao?