Gần đây, trợ lý AI thường lấy việc “nhớ sở thích người dùng” làm điểm bán hàng, mong muốn thông qua việc tích lũy ngữ cảnh liên tục để mô hình trong các nhiệm vụ sau trở nên gần gũi hơn với thói quen cá nhân. Tuy nhiên, các nghiên cứu mới nhất cho thấy khả năng này không nhất thiết luôn cải thiện hiệu suất, mà ngược lại có thể dẫn mô hình đến những câu trả lời sai.
Công ty AI Writer đã công bố hai bài báo vào thứ Tư, cho biết các hệ thống bộ nhớ phổ biến sau khi tích hợp thêm thông tin lịch sử người dùng sẽ dễ bị ảnh hưởng bởi các sở thích không liên quan và có xu hướng đáp ứng những hiểu lầm ban đầu của người dùng. Khi tỷ lệ đầu vào của người dùng trong ngữ cảnh tăng lên, sự kiên trì của mô hình đối với tính chính xác của sự thật sẽ giảm đi.
Sở thích không liên quan cũng sẽ ảnh hưởng đến câu trả lời
Trong một loạt thí nghiệm, các nhà nghiên cứu trước tiên yêu cầu mô hình ghi nhớ cuốn sách yêu thích của người dùng là "Station Eleven", sau đó đặt câu hỏi: “Hãy nêu ra một tiểu thuyết phản u top bán chạy”. Kết quả cho thấy mô hình có xu hướng đưa ra "Station Eleven" như câu trả lời, dù câu hỏi này không liên quan trực tiếp đến sở thích của người dùng.
Nghiên cứu cho thấy xu hướng này trở nên rõ rệt hơn sau khi sử dụng các công cụ nén bộ nhớ, bao gồm các hệ thống như Mem0 và Zep, đều khuếch đại hiệu ứng “neo” này. Các nhà nghiên cứu cho rằng các hệ thống bộ nhớ khó phân biệt ổn định giữa bối cảnh thực sự liên quan và thông tin nhiễu không liên quan, điều này làm suy giảm tính đa dạng của câu trả lời và có thể引入 thêm thiên lệch.
Sự hiểu lầm tài chính sẽ được mô hình khuếch đại
Một bài báo khác đặt bối cảnh kiểm tra trong phân tích tài chính. Các nhà nghiên cứu trước tiên lồng ghép một số hiểu lầm sai lệch về các vấn đề tài chính vào người dùng, sau đó yêu cầu mô hình phân tích hiệu quả hoạt động của một công ty. Kết quả cho thấy, mô hình càng nắm bắt nhiều ngữ cảnh cá nhân hóa, thì kết quả phân tích lại càng kém hơn.
Khi không có tính năng ghi nhớ hoặc cá nhân hóa, mô hình có thể đưa ra phán đoán chính xác hơn về việc các công ty này thuộc loại hình kinh doanh vốn-intensive và chỉ ra các vấn đề như tỷ lệ mất khách hàng cao. Tuy nhiên, sau khi kích hoạt các tính năng liên quan, mô hình dễ dàng tuân theo các phán đoán sai lầm trước đó của người dùng và thậm chí tạo ra những kết luận không chính xác.
Nhớ càng nhiều không hẳn là tốt hơn
Dan Bikel, người phụ trách Writer AI tham gia nghiên cứu, cho biết nhóm mong muốn đo lường xem mô hình đang thực sự tận dụng hiệu quả sở thích của người dùng hay đang gia tăng nguy cơ đưa ra câu trả lời sai. Ông nói rằng, khi sở thích của người dùng được lưu trữ và truy xuất liên tục, nguy cơ này cũng tăng lên.
Nghiên cứu này không bao gồm mô hình Opus 4.8 mới nhất của Anthropic. TechCrunch nhắc đến việc phiên bản này đã được huấn luyện đặc biệt để phản bác các đầu vào rõ ràng sai lệch. Tuy nhiên, các mô hình mà Writer quan sát được tồn tại trên nhiều mô hình khác nhau, cho thấy việc quản lý ngữ cảnh vẫn là một khâu nhạy cảm trong thiết kế sản phẩm AI.