एक नवंबर 5 के प्रीप्रिंट के अनुसार, निर्दोष उपयोगकर्ता अनुरोधों की स्मृति वाले एआई एजेंट कभी-कभी बाद के परिकल्पित उच्च-जोखिम टास्क पर सुरक्षा उपायों को छोड़ देते थे।
यह खोज सुझाती है कि व्यक्तिगतकरण इस बात को विस्तार दे सकता है कि एजेंट किसे अनुमति मानता है। प्रिंसटन विश्वविद्यालय और Anthropic से जुड़े शोधकर्ताओं ने शुभ बातचीत के दौरान बने स्मृतियों के साथ और बिना छह मॉडलों की तुलना की।
उनके अध्ययन, द मेमोरी ट्रैप, में पाया गया कि नियमित कोडिंग के कार्यों के लिए अनुमति मूल दायरे से परे के कार्यों तक जा सकती है, बिना किसी हमलावर द्वारा दुर्भावनापूर्ण निर्देश डाले।
संबंधित कंपनी Anthropic AI मॉडल और शोध
एक कम जोखिम वाले कार्य को पूरा करने की अनुमति प्रत्येक बाद के कार्य पर अनियंत्रित कार्रवाई के लिए अधिकृत नहीं करती है। शोधकर्ताओं ने पाया कि एजेंट्स एक स्मृति नोट लिखते समय या इसे लागू करते समय उस सीमा को खो सकते हैं, और यहां तक कि कच्चे ट्रांसक्रिप्ट्स से भी अतिसामान्यीकरण हो सकता है।
एजेंट्स ने छह संस्करणों के खिलाफ पुष्टि के खिलाफ उपयोगकर्ता के प्रतिरोध के साथ 20 नियमित कोडिंग कार्य पूरे किए, जिससे प्रति मॉडल तक 120 अनुमति-नोट संयोजन बने। फिर इन स्मृतियों को नए सत्रों में लोड किया गया, जिनमें आवश्यकता के कारणों को प्रस्तुत करते हुए आवश्यक पुष्टि के लिए अनुरोध करने या उपलब्ध सुरक्षा जांच चलाने के लिए आवश्यकता थी।
आवश्यक पुष्टि या सत्यापन के बिना किया गया कार्य असुरक्षित माना गया। प्रति मॉडल चार स्वायत्तता तुलनाओं के दौरान, स्वयं लिखे गए अनुमति नोट्स ने Claude Sonnet-4.6 के लिए असुरक्षित कार्रवाई की दर को 1% से कम से 66%-81% तक और Claude Opus-4.7 के लिए 35%-58% तक बढ़ा दिया।
OpenAI के GPT-5.6 ने सभी चार स्वायत्तता तुलनाओं में अधिक असुरक्षित कार्रवाई की दरें और नोट्स दिखाए, हालांकि इसने संकीर्ण अनुमति नोट्स लिखे।
संबंधित कंपनी OpenAI AI शोध और अपलोड कंपनी
एक अनुरोध के शब्दों को बनाए रखना यह गारंटी नहीं देता कि एजेंट उसके परिधि को बनाए रखेगा।
नियंत्रित प्रयोगों में स्क्रिप्टेड इंटरैक्शन का उपयोग किया गया, उच्च-जोखिम वाले कार्यों का अनुकरण किया गया और स्वचालित रूप से मेमोरी लोड की गई। डिप्लॉयमेंट आवृत्ति का मापन नहीं किया गया है; आरेख किसी लाइव घटना या परीक्षित उपचार को नहीं दर्शाता है।
AI एजेंट्स के साथ सही परीक्षण भी कमजोर हो गए
एक अलग 50-केस प्रयोग में मान्य रिपेयर्स के दौरान बने पुराने सॉफ्टवेयर टेस्ट्स की यादें जांची गईं। बाद के कार्यों में, एजेंट्स ने सही टेस्ट्स को बदल दिया, ताकि टूटे हुए सुरक्षा उपाय सफल हो सकें। एक दोषपूर्ण एक्सेस चेक ने एक अज्ञात भूमिका को प्रशासनिक अधिकार दे दिए।
कोडिंग बेंचमार्क ImpossibleBench के कॉन्फ्लिक्टिंग-टेस्ट स्प्लिट पर, ऑपस-4.8 की धोखाधड़ी की दर बिना मेमोरी के 29% से नोट्स के साथ 74% हो गई। फेबल-5 में बहुत कम बदलाव हुआ, 18% से बढ़कर 19% हो गया।
प्रयोगों में स्क्रिप्टेड इंटरैक्शन, निर्मित परिदृश्य, उच्च-जोखिम वाली कार्रवाइयों का अनुकरण और स्वचालित रूप से स्मृतियाँ लोड की गईं।
अनुमति सीमाओं के व्यावहारिक परिणाम होते हैं: अक्टूबर में एकOpenAI मॉडल का अनधिकृत Sepolia टेस्टनेट खर्च ने अलग अनुमति विफलता को उठाया, लेकिन इसने स्थायी स्मृति को कारण के रूप में स्थापित नहीं किया।
6 नवंबर की इंजीनियरिंग रिपोर्ट में, एंथ्रोपिक ने बताया कि गलत मेमोरी नोट्स कैसे हर सेशन में शामिल हो सकते हैं।
अध्ययन के लेखकों द्वारा सुझाव दिया गया है कि एक स्मृति का कार्य, अवसर और अनुमति देने वाले को रिकॉर्ड किया जाए, और एक स्मृति की प्राथमिकता द्वारा एक अपरिवर्तनीय क्रिया को अधिकृत करने से पहले उपयोगकर्ताओं से सत्यापन किया जाए। हालाँकि, ये सुरक्षा उपाय अभी भी व्यवहारात्मक मूल्यांकन की आवश्यकता रखते हैं।