1Password की सुरक्षा टीम ने लिनक्स, Chrome आदि सॉफ्टवेयर में मौजूद 6 जटिल दुर्बलताओं का मूल्यांकन किया, जिसमें ChatGPT 5.5 और Claude Opus 4.8 को पैच बनाने के लिए अनुरोध किया गया, और कुल 6080 प्रयासों का मूल्यांकन किया गया। यह अध्ययन 6 अगस्त को प्रकाशित किया गया। परिणाम यह रहा कि 26% पैचों ने दुर्बलता को ठीक किया और मूल कार्यक्षमता को नुकसान नहीं पहुंचाया; 20.1% दुर्बलता को बंद कर दिया, लेकिन प्रोग्राम के अन्य व्यवहारों को खराब कर दिया। लगभग आधे पैचों ने मूल दुर्बलता को ही सुधार नहीं पाया, और कुछ में नए दुर्बलताएं भी शामिल हो गईं। शोधकर्ताओं ने पाया कि Spring AI की दुर्बलता के सामने, मॉडल अक्सर हमले के उदाहरण में कुछ विशिष्ट वर्णों को संभालने का चयन करते हैं। हमले का निर्देश असफल हो जाता है, लेकिन दुर्बलता का कारण बनने वाला कोड अछूता रहता है। एक अलग इनपुट के साथ, जोखिम वापस आ सकता है। आपके हाथ में मिलने वाला पैच, जो सही लगता है और एक बार हमले को रोकने में सफल हुआ है, सुरक्षा से सावधान होने की प्रवृत्ति पैदा कर सकता है। "मानवीय समीक्षा के बिना, पूरी तरह से बड़े मॉडल द्वारा उत्पन्न पैच की प्रत्याशित मूल्यता स्पष्ट रूप से ऋणात्मक है" — यही पेपर के लेखकों का मूल्यांकन है। उनकी चिंता है कि पुरानी समस्या हल नहीं होगी, और साथ ही, समस्या हल हो चुकी है, इस मिथ्या समझ के कारण सुरक्षा संवेदनशीलता कम होगी। मुझे लगता है, AI-आधारित प्रोग्रामिंग में कुशलता की गणना करते समय, समीक्षा, पुनर्निर्माण, और समस्याओं की लागत को समेटना होगा। केवल कोड के संशोधन की गति पर ही संख्याएं सुंदर प्रतीत होती हैं। कोड लिखने में समयबचत हुई, क्या प्रोग्राम में समस्याओं को पहचानने में समयबचत करने की प्रक्रिया में समेटने की सोची है?