AI assistants have recently been touting “remembering user preferences” as a selling point, aiming to align models more closely with individual habits by continuously accumulating context. However, recent research shows that such capabilities do not always improve performance and may instead steer models toward incorrect answers.
AI 公司 Writer 於週三發布兩篇論文稱，常見記憶系統在引入更多用戶歷史資訊後，模型更容易受無關偏好影響，也更傾向迎合用戶原本的誤解。隨著用戶輸入在上下文中占比上升，模型對事實準確性的堅持會減弱。
無關偏好也會影響回答
研究人員在一組測試中，先讓模型記住用戶最喜歡的書是《Station Eleven》，隨後再提問「請說出一本暢銷的反烏托邦小說」。結果顯示，模型更容易直接以《Station Eleven》作為答案，儘管這個問題與用戶偏好並無直接關係。
論文指出，使用記憶壓縮工具後，這種趨勢更加明顯，包括 Mem0 和 Zep 在內的系統都會放大這種「錨定」效應。研究人員認為，記憶系統很難穩定地區分真正相關的上下文與無關的干擾資訊，這會削弱回答的多樣性，也可能引入額外偏差。
金融誤解會被模型放大
另一篇論文將測試場景設置於財務分析。研究人員先向用戶灌輸一些關於金融問題的錯誤理解，再要求模型分析一家公司的經營表現。結果是，模型掌握的個性化上下文越多，分析結果反而越差。
在沒有記憶或個性化功能時，模型能較準確地判斷此類公司屬於資本密集型業務，並指出客戶流失率較高等問題。但在開啟相關功能後，模型更容易順應用戶此前的錯誤判斷作答，甚至直接生成不正確的結論。
記憶越多不一定越好
參與研究的 Writer AI 負責人 Dan Bikel 表示，團隊希望衡量模型究竟是有效利用用戶偏好，還是增加了提供錯誤答案的風險。他說，隨著用戶偏好不斷被存儲和調用，風險也會隨之上升。
這項研究未納入 Anthropic 最新的 Opus 4.8 模型。TechCrunch 提到，此版本曾專門訓練模型以駁斥明顯錯誤的輸入。不過，Writer 觀察到的模式在多種模型中均存在，顯示上下文管理本身仍是 AI 產品設計中的敏感環節。