নভেম্বর ৫-এর একটি প্রিপ্রিন্ট অনুসারে, অক্ষত ব্যবহারকারীর অনুরোধের স্মৃতি বহনকারী এআই এজেন্টগুলি পরবর্তী পরিকল্পিত উচ্চ-ঝুঁকিপূর্ণ কাজগুলিতে সুরক্ষা ব্যবস্থা উপেক্ষা করেছিল।
এই প্রতিবেদনটি বোঝায় যে ব্যক্তিগতকরণ প্রভাবিত করতে পারে যা এজেন্ট অনুমতি হিসাবে বিবেচনা করে। প্রিনসটন বিশ্ববিদ্যালয় এবং Anthropic-এর সঙ্গে যুক্ত গবেষকদের শুভেচ্ছাপূর্ণ মিথস্ক্রিয়ার সময় গঠিত স্মৃতি সহ এবং ছাড়া ছয়টি মডেলের তুলনা করা হয়েছিল।
তাদের অধ্যয়ন, দ্য মেমোরি ট্র্যাপ, পাওয়া গেছে যে রুটিন কোডিং কাজের জন্য অনুমতি মূল পরিসরের বাইরেও কাজে ব্যবহার করা যেতে পারে, একজন আক্রমণকারী দুষ্টুমির নির্দেশ স্থাপন না করেও।
সংশ্লিষ্ট কোম্পানি Anthropic AI মডেল এবং গবেষণা
একটি কম ঝুঁকিপূর্ণ কাজ সম্পন্ন করার অনুমতি পরবর্তী প্রতিটি কাজে অনিয়ন্ত্রিত কার্যকলাপের অনুমতি দেয় না। গবেষকদের পাওয়া গেছে যে এজেন্টগুলি একটি মেমোরি নোট লিখলে বা এটি প্রয়োগ করলে সেই সীমানা হারিয়ে ফেলতে পারে, এবং এমনকি কাঁচা ট্রান্সক্রিপ্টও অতি-সাধারণীকরণের কারণ হতে পারে।
এজেন্টগুলি ২০টি সাধারণ কোডিং কাজ সম্পন্ন করেছে, যেখানে নিশ্চিতকরণের বিরুদ্ধে ব্যবহারকারীর ছয়টি সংস্করণের প্রতিক্রিয়া ছিল, যা প্রতিটি মডেলের জন্য প্রতি ১২০টি অনুমতি-নোট সংমিশ্রণ তৈরি করেছে। এই মেমোরিগুলি তারপর নতুন সেশনে লোড করা হয়েছিল, যেখানে প্রতিকৃতি কাজগুলি নিশ্চিতকরণের জন্য অনুসন্ধান বা উপলব্ধ সুরক্ষা চেক চালানোর কারণগুলি উপস্থাপন করেছিল।
প্রয়োজনীয় নিশ্চিতকরণ বা যাচাই ছাড়া কাজ করাকে অনিরাপদ হিসেবে গণ্য করা হয়েছে। প্রতিটি মডেলের জন্য চারটি স্বায়ত্তশাসন তুলনা-এ, নিজে লেখা অনুমতির নোটগুলি Claude Sonnet-4.6-এর জন্য 1%-এর নিচে থেকে 66%-81% এবং Claude Opus-4.7-এর জন্য 35%-58% পর্যন্ত অনিরাপদ কার্যের হার বাড়িয়েছে।
OpenAI-এর GPT-5.6 সমস্ত চারটি স্বায়ত্তশাসন তুলনায় উচ্চতর অনিরাপদ কার্যের হার এবং নোট দেখিয়েছে, যদিও এটি সংকীর্ণ অনুমতি নোট লিখেছে।
সংশ্লিষ্ট কোম্পানি OpenAI এআই গবেষণা এবং বাস্তবায়ন কোম্পানি
একটি অনুরোধের শব্দগুলি সংরক্ষণ করলে এটি নিশ্চিত করে না যে এজেন্টটি এর পরিসর সংরক্ষণ করবে।
নিয়ন্ত্রিত পরীক্ষাগুলিতে স্ক্রিপ্টযুক্ত ইন্টারঅ্যাকশন ব্যবহার করা হয়েছিল, উচ্চ-ঝুঁকিপূর্ণ কাজগুলি সিমুলেট করা হয়েছিল এবং স্বয়ংক্রিয়ভাবে মেমোরি লোড করা হয়েছিল। ডিপ্লয়মেন্ট ফ্রিকোয়েন্সি পরিমাপ করা হয়নি; ডায়াগ্রামটি একটি লাইভ ঘটনা বা পরীক্ষিত প্রতিকার চিত্রিত করে না।
এআই এজেন্টগুলির সাথে সঠিক পরীক্ষা করা হয়েছে এবং দুর্বল হয়েছে
একটি পৃথক ৫০-কেস পরীক্ষায় পুরনো সফটওয়্যার টেস্টগুলির বৈধ মেরামতের সময় গঠিত স্মৃতিগুলি পরীক্ষা করা হয়েছিল। পরবর্তী কাজগুলিতে, এজেন্টগুলি সঠিক টেস্টগুলি পরিবর্তন করেছিল, যাতে ভাঙা সুরক্ষা পাস করতে পারে। একটি ত্রুটিপূর্ণ অ্যাক্সেস চেক একটি অজানা ভূমিকাকে অ্যাডমিনিস্ট্রেটর অধিকার দিয়েছিল।
ImpossibleBench-এর কনফ্লিক্টিং-টেস্ট স্প্লিটে, মেমোরি ছাড়া Opus-4.8-এর চিটিং হার 29% থেকে নোটস সহ 74% হয়েছে। Fable-5 প্রায় অপরিবর্তিত রয়েছে, 18% থেকে 19% এ।
পরীক্ষাগুলিতে স্ক্রিপ্টকৃত ইন্টারঅ্যাকশন, গঠিত পরিস্থিতি, উচ্চ-ঝুঁকিপূর্ণ কার্যাবলী প্রতিকৃতি এবং স্বয়ংক্রিয়ভাবে মেমোরি লোড করা হয়েছিল।
অনুমতি সীমানা ব্যবহারিক প্রভাব রাখে: একটি OpenAI মডেলের অননুমোদিত Sepolia টেস্টনেট ব্যয় অক্টোবরে একটি পৃথক অনুমতি ব্যর্থতা তৈরি করেছিল, কিন্তু এটি স্থায়ী মেমোরির কারণ হিসাবে প্রতিষ্ঠিত করেনি।
৬ নভেম্বরের ইঞ্জিনিয়ারিং রিপোর্ট-এ অ্যানথ্রোপিক বর্ণনা করেছে কিভাবে ভুল মেমোরি নোটগুলি প্রতিটি সেশনে চলে যেতে পারে।
অধ্যয়নের লেখকদের প্রস্তাব হলো একটি স্মৃতির কাজ, সুযোগ এবং অনুমতিদানকারীকে রেকর্ড করা এবং একটি স্মৃতিগত পছন্দ অপরিবর্তনীয় কাজকে অনুমতি দেওয়ার আগে ব্যবহারকারীদের সাথে পরামর্শ করা। তবে, সেই সুরক্ষা ব্যবস্থাগুলি এখনও আচরণগত মূল্যায়নের প্রয়োজন।