हाल के समय में, AI सहायक आमतौर पर "उपयोगकर्ता प्राथमिकताओं को याद रखना" को एक बिक्री बिंदु के रूप में प्रस्तुत कर रहे हैं, जिसका उद्देश्य संदर्भ को लगातार इकट्ठा करके मॉडल को भविष्य के कार्यों में व्यक्तिगत आदतों के अधिक निकट लाना है। हालांकि, नवीनतम शोध दर्शाता है कि ऐसी क्षमताएं हमेशा प्रदर्शन में सुधार नहीं करतीं, बल्कि मॉडल को गलत उत्तरों की ओर धकेल सकती हैं।
AI कंपनी Writer ने बुधवार को दो पेपर जारी किए, जिनमें कहा गया कि जब अधिक उपयोगकर्ता इतिहास की जानकारी शामिल की जाती है, तो सामान्य स्मृति प्रणालियाँ असंबंधित पसंदों के प्रभाव में आने लगती हैं और उपयोगकर्ता के मूल भ्रमों को स्वीकार करने की प्रवृत्ति बढ़ जाती है। जैसे-जैसे उपयोगकर्ता के इनपुट का संदर्भ में अनुपात बढ़ता है, मॉडल की तथ्यात्मक सटीकता के प्रति लगन कमजोर हो जाती है।
अनुपयुक्त प्राथमिकताएँ भी उत्तरों को प्रभावित करती हैं
एक परीक्षण में, शोधकर्ताओं ने मॉडल को पहले याद दिलाया कि उपयोगकर्ता की पसंदीदा पुस्तक Station Eleven है, और फिर पूछा, "एक बेस्टसेलर एंटीयूटोपियन उपन्यास का नाम बताएं।" परिणाम दिखाते हैं कि मॉडल Station Eleven को उत्तर के रूप में सीधे देने की संभावना अधिक रही, हालांकि यह प्रश्न उपयोगकर्ता की प्राथमिकताओं से सीधे संबंधित नहीं था।
अध्ययन के अनुसार, मेमोरी कॉम्प्रेशन टूल्स के उपयोग के बाद यह प्रवृत्ति अधिक स्पष्ट हो जाती है, जिसमें Mem0 और Zep जैसी प्रणालियाँ इस “एंकरिंग” प्रभाव को बढ़ाती हैं। शोधकर्ता मानते हैं कि मेमोरी सिस्टम कठिनाई से वास्तविक संबंधित संदर्भ और असंबंधित विक्षेप जानकारी के बीच स्थिर अंतर कर पाते हैं, जिससे उत्तरों की विविधता कम होती है और अतिरिक्त पूर्वाग्रह भी शामिल हो सकते हैं।
वित्तीय भ्रम मॉडल द्वारा बढ़ाए जा सकते हैं
एक अन्य शोध पत्र में परीक्षण परिदृश्य को वित्तीय विश्लेषण पर रखा गया। शोधकर्ताओं ने पहले उपयोगकर्ताओं को वित्तीय समस्याओं के बारे में कुछ गलत धारणाएँ दीं, और फिर मॉडल से किसी कंपनी के व्यापार प्रदर्शन का विश्लेषण करने के लिए कहा। परिणाम यह था कि जितना अधिक मॉडल को व्यक्तिगत संदर्भ प्राप्त होता था, विश्लेषण का परिणाम उतना ही खराब होता था।
बिना स्मृति या व्यक्तिगतकरण के सुविधाओं के, मॉडल इस तरह की कंपनियों को पूंजी-घनत्व वाले व्यवसाय के रूप में पहचानने में सक्षम है और ग्राहक अपवाह दर में उच्च समस्याओं को उठाता है। हालांकि, संबंधित सुविधाओं को सक्षम करने के बाद, मॉडल उपयोगकर्ता के पिछले गलत निर्णयों के अनुसार उत्तर देने की प्रवृत्ति रखता है, और कभी-कभी सीधे गलत निष्कर्ष बनाता है।
जितना अधिक स्मृति, उतनी हमेशा बेहतर नहीं होती
अनुसंधान में शामिल Writer AI के प्रमुख डैन बिकेल ने कहा कि टीम यह मापना चाहती है कि मॉडल वास्तव में उपयोगकर्ता प्राथमिकताओं का प्रभावी ढंग से उपयोग कर रहा है या गलत उत्तर देने के जोखिम को बढ़ा रहा है। उन्होंने कहा कि जैसे-जैसे उपयोगकर्ता प्राथमिकताओं को लगातार संग्रहीत और पुनः प्राप्त किया जाता है, जोखिम भी बढ़ता है।
इस अध्ययन में Anthropic का नवीनतम Opus 4.8 मॉडल शामिल नहीं किया गया है। TechCrunch ने उल्लेख किया कि इस संस्करण को विशेष रूप से स्पष्ट रूप से गलत इनपुट को खारिज करने के लिए प्रशिक्षित किया गया था। हालाँकि, Writer द्वारा देखे गए पैटर्न कई मॉडल में मौजूद हैं, जो दर्शाते हैं कि संदर्भ प्रबंधन अभी भी AI उत्पाद डिज़ाइन में एक संवेदनशील पहलू है।