ای آئی اسٹنٹ کے حالیہ دور میں "صارف کی ترجیحات کو یاد رکھنا" کو ایک فروخت کا نقطہ بنایا گیا ہے، جس کا مقصد مسلسل سیاق و سباق جمع کرکے ماڈل کو بعد کے کاموں میں انفرادی عادات کے قریب لانا ہے۔ تاہم، نئی تحقیق سے پتہ چلتا ہے کہ اس قسم کی صلاحیتیں ہمیشہ کارکردگی میں اضافہ نہیں کرتیں، بلکہ ماڈل کو غلط جوابوں کی طرف مائل کر سکتی ہیں۔
AI کمپنی Writer نے بدھ کو دو تحقیقی مقالات جاری کیں جن میں کہا گیا کہ جب عام یادداشت سسٹم میں مزید صارفین کے تاریخی معلومات شامل کی جاتی ہیں، تو ماڈل غیر متعلقہ ترجیحات کے اثر میں آنے کا زیادہ امکان رکھتا ہے اور صارفین کے اصل غلط فہمیوں کے مطابق رفتار اپنانے کا رجحان رکھتا ہے۔ جب صارف کے ان پٹ کا تناظر میں حجم بڑھتا ہے، تو ماڈل حقائق کی درستگی پر قائم رہنے کی کوشش کم کر دیتا ہے۔
بے ربط ترجیحات بھی جوابات کو متاثر کرتی ہیں
ایک سری ٹیسٹ میں، تحقیق کاروں نے ماڈل کو یاد دلایا کہ صارف کی پسندیدہ کتاب "Station Eleven" ہے، اور پھر سوال پوچھا کہ "ایک مقبول اینٹی یوٹوپیا ناول کا نام بتائیں۔" نتائج نے ظاہر کیا کہ ماڈل زیادہ تر اس سوال کا جواب "Station Eleven" دے دیتا ہے، حالانکہ یہ سوال صارف کی ترجیحات سے براہ راست متعلق نہیں تھا۔
مطالعہ کے مطابق، یہ رجحان میموری کمپریشن ٹولز، جیسے Mem0 اور Zep، کے استعمال کے بعد زیادہ واضح ہوتا ہے، جو "انکر" اثر کو بڑھاتے ہیں۔ تحقیق کاروں کا خیال ہے کہ میموری سسٹمز حقیقی متعلقہ سیاق و سباق اور غیر متعلقہ شوٹ آؤٹ معلومات کے درمیان مستقل فرق کرنے میں مشکل محسوس کرتے ہیں، جس سے جوابات کی تنوع کم ہوتی ہے اور ممکنہ طور پر اضافی جھکاؤ شامل ہوتا ہے۔
مالی غلط فہمیاں ماڈل کے ذریعے بڑھائی جائیں گی
ایک اور تحقیقی مقالہ مالی تجزیہ کے منظر نامے پر مرکوز تھا۔ تحقیق کاروں نے صارفین کو مالی مسائل کے بارے میں غلط تصورات دیے، اور پھر ماڈل سے ایک کمپنی کی کارکردگی کا تجزیہ کرنے کو کہا۔ نتیجہ یہ نکلا کہ جتنا ماڈل کو ذاتی ماحول زیادہ معلوم ہوتا، تجزیہ اتنا ہی خراب ہوتا۔
جب تک میموری یا پرسنلائزیشن فنکشنز بند ہوں، ماڈل اس قسم کی کمپنیوں کو سرمایہ کی شدید ضرورت والے کاروبار کے طور پر درست طریقے سے تشخیص کرتا ہے اور کسٹمر چھوڑنے کی بلند شرح جیسے مسائل کو اجاگر کرتا ہے۔ لیکن جب ان فنکشنز کو چالو کیا جاتا ہے، تو ماڈل صارف کے پہلے کی گئی غلط تشخیص کے مطابق جواب دینے لگتا ہے، اور کبھی کبھی غلط نتائج بھی پیدا کر دیتا ہے۔
زیادہ یاد رکھنا ہمیشہ بہتر نہیں ہوتا
مطالعہ میں شریک Writer AI کے ہیڈ ڈین بکل نے کہا کہ ٹیم چاہتی ہے کہ وہ یہ پیمانہ لگائیں کہ ماڈل صرف صارفین کی ترجیحات کا مؤثر طریقے سے استعمال کر رہا ہے یا غلط جواب دینے کے خطرے کو بڑھا رہا ہے۔ اس نے کہا کہ جب صارفین کی ترجیحات بار بار ذخیرہ اور فراہم کی جاتی ہیں، تو خطرہ بھی بڑھتا جاتا ہے۔
اس تحقیق میں Anthropic کا نئاترین Opus 4.8 ماڈل شamil نہیں کیا گیا۔ TechCrunch نے اشارہ کیا کہ اس ورژن کو خاص طور پر واضح غلط ان پٹس کو منع کرنے کے لیے تربیت دی گئی تھی۔ تاہم، Writer نے جو نمونے دیکھے، وہ کئی ماڈلز میں موجود ہیں، جس سے پتہ چلتا ہے کہ کنٹیکسٹ مینجمنٹ اب بھی AI پروڈکٹ ڈیزائن میں ایک حساس پہلو ہے۔