AI-асистенти останнім часом широко використовують «пам’ятання про уподобання користувача» як перевагу, сподіваючись, що поступове накопичення контексту допоможе моделі краще відповідати індивідуальним звичкам. Однак останні дослідження показують, що такі здібності не завжди підвищують продуктивність, а навпаки, можуть відвести модель до неправильних відповідей.
Компанія з штучним інтелектом Writer у середу опублікувала дві статті, в яких зазначається, що після введення більшої кількості інформації про історію користувача моделі стають більш підвержені впливу не пов’язаних з темою уподобань і більше схильні підтверджувати вже існуючі помилкові уявлення користувача. Зі збільшенням частки користувацьких вхідних даних у контексті стійкість моделі до точності фактів зменшується.
Нейтральні уподобання також впливають на відповіді
У тесті дослідники спочатку навчили модель запам’ятовувати, що улюблена книга користувача — це «Station Eleven», а потім запитали: «Назвіть бестселер серед антиутопічних романів». Результати показали, що модель частіше прямо відповідала «Station Eleven», хоча цей запит не мав безпосереднього відношення до користувацьких уподобань.
Дослідження стверджує, що ця тенденція стає більш вираженою після використання інструментів стиснення пам’яті, таких як Mem0 і Zep, які посилюють ефект «прив’язки». Дослідники вважають, що системи пам’яті важко стабільно розрізняти справді релевантний контекст від нерелевантних завад, що зменшує різноманітність відповідей і може призводити до додаткових упереджень.
Фінансові упередження можуть посилюватися моделлю
Інша стаття розмістила сценарій тестування в фінансовому аналізі. Дослідники спочатку формували у користувачів неправильні уявлення про фінансові питання, а потім вимагали від моделі проаналізувати результати діяльності компанії. Виявилося, що чим більше персоналізованого контексту мала модель, тим гіршими були результати аналізу.
Без функцій пам’яті чи персоналізації модель здатна достатньо точно визначити, що такі компанії належать до капіталомістких бізнесів, і вказати на такі проблеми, як високий рівень втрат клієнтів. Однак після увімкнення цих функцій модель легше йде за попередніми помилковими висновками користувача і навіть може генерувати неправильні висновки.
Чим більше пам’яті, тим краще — не завжди
Дан Бікель, керівник Writer AI, який брав участь у дослідженні, сказав, що команда хотіла виміряти, чи модель ефективно використовує уподобання користувачів, чи збільшує ризик надання неправильних відповідей. Він зазначив, що зі збільшенням зберігання та виклику уподобань користувачів ризик також зростає.
Це дослідження не включало найновішу модель Opus 4.8 від Anthropic. TechCrunch зазначив, що цю версію спеціально навчали спростовувати очевидно неправильні вхідні дані. Однак шаблони, виявлені Writer, присутні в різних моделях, що свідчить про те, що керування контекстом залишається чутливим аспектом у дизайні продуктів ШІ.