1Password-এর নিরাপত্তা দল একটি মূল্যায়ন করেছে। তারা Linux, Chrome ইত্যাদি সফটওয়্যারের ৬টি জটিল দুর্বলতা নিয়ে ChatGPT 5.5 এবং Claude Opus 4.8-কে প্যাচ জেনারেট করতে দিয়েছে, এবং শেষ পর্যন্ত ৬০৮০ বার চেষ্টা মূল্যায়ন করেছে। এই গবেষণা ৮月৬日 তারিখে প্রকাশিত হয়েছে। ফলাফল হলো, ২৬% প্যাচ দুর্বলতাগুলো ঠিক করেছে এবং মূল ফাংশনও নষ্ট হয়নি; ২০.১% প্যাচ দুর্বলতা বন্ধ করলেও প্রোগ্রামের অন্য আচরণগুলোকে নষ্ট করেছে। প্রায় অর্ধেক চেষ্টা আসল দুর্বলতাই ঠিক করতে পারেনি, এবং তাদের কিছু আবার নতুন দুর্বলতাও যোগ করেছে। গবেষকরা দেখেছেন, Spring AI-এর দুর্বলতার মুখোমুখি হলে মডেলগুলি প্রায়ই আক্রমণ উদাহরণের কিছু বিশেষ অক্ষর সামলানোর পথ বেছে নেয়। ওই আক্রমণ নির্দেশটি অকার্যকর হয়ে যায়, কিন্তু যে কোড দুর্বলতার সৃষ্টি করেছিল তা অপরিবর্তিত থাকে। ইনপুট বদলালেই ঝুঁকি ফিরে আসতে পারে। আপনার হাতে যে প্যাচটি পৌঁছায়, দেখতে কার্যকরী, বাস্তবে একবার আক্রমণ আটকালেও, তা খুব সহজেই মানুষের সতর্কতা কমিয়ে দিতে পারে। 「未经人工审核、完全由大模型生成的补丁，预期价值明显为负」— এই সিদ্ধান্তই নিয়েছেন প্রবন্ধের লেখকরা। তারা যে পরিস্থিতা নিয়ে চিন্তিত, তা হলো পুরনো সমস্যা সমাধানই হয়নি, অথচ মানুষ ভুল করে ধরে নিচ্ছে যে সব কিছুই ঠিক হয়ে গেছে। আমার মনে হয়, AI দিয়ে প্রোগ্রামিংয়ের দক্ষতা গণনা করতে গেলে, রিভিউ, পুনরায় কাজ করা এবং সমস্যার খরচ—সব একসঙ্গে হিসাব করতে হবে। শুধু কোড কত দ্রুত তৈরি হচ্ছে সেটাই যদি ধরা হয়, তাহলে হিসাব অবশ্যই সুন্দর দেখাবে। কোড লেখার মানুষ বাঁচল, কিন্তু কোডে সমস্যা আছে কি না ধরতে পারে এমন মানুষদেরও কি এক সঙ্গে বাদ দিতে চাই?