قامت فرقة أمن 1Password بإجراء تقييم، حيث استخدمت 6 ثغرات معقدة من برامج مثل Linux وChrome، وطلبت من ChatGPT 5.5 وClaude Opus 4.8 إنشاء تصحيحات، وتم تقييم 6080 محاولة. نُشرت هذه الدراسة في 6 أغسطس. النتيجة كانت أن 26% من التصحيحات أصلحت الثغرات دون الإضرار بالوظائف الأصلية؛ و20.1% سدّت الثغرات لكنها عطلت سلوكًا آخر في البرنامج. حوالي نصف التصحيحات لم تصلح الثغرة الأصلية على الإطلاق، وبعضها أضاف ثغرات جديدة. اكتشف الباحثون أنه عند مواجهة ثغرات Spring AI، غالبًا ما تختار النماذج التعامل مع بعض الأحرف الخاصة في أمثلة الهجوم. فتتعطل تعليمات الهجوم، لكن الكود المسبب للثغرة يبقى دون تغيير. وبتغيير المدخلات، قد تعود المخاطرة. قد يبدو التصحيح الذي يُسلّم إليك مفيدًا، وقد نجح في منع هجوم واحد، مما يجعلك تقلل من حذرك بسهولة. "التصحيحات التي تُولّد بالكامل بواسطة نماذج لغوية كبيرة دون مراجعة بشرية، لها قيمة متوقعة سلبية بوضوح" هي أيضًا استنتاج مؤلفي الورقة البحثية. فهم يخشون بالضبط هذا السيناريو: حيث لا تُحل المشكلات القديمة، لكن يُظن أن الأمور قد تم حلها. أعتقد أنه عند حساب كفاءة الذكاء الاصطناعي في البرمجة، يجب تضمين تكاليف المراجعة وإعادة العمل والحوادث. فحساب سرعة توليد الكود فقط يجعل الحسابات تبدو جيدة. هل سيُقرر أيضًا التخلي عن الأشخاص القادرين على اكتشاف مشاكل الكود، بمجرد أن يُوفّر من يكتبونه؟