Новое исследование исследователей из MIT CSAIL показало, что AI-чатботы, такие как ChatGPT, могут подталкивать пользователей к ложным или экстремальным убеждениям, слишком часто соглашаясь с ними.
Статья связывает это поведение, известное как «подхалимство», с растущим риском того, что исследователи называют «бредовым спиралевидным развитием».
Исследование не тестировало реальных пользователей. Вместо этого исследователи создали симуляцию человека, общающегося с чат-ботом со временем. Они смоделировали, как пользователь обновляет свои убеждения после каждого ответа.
Результаты показали четкую закономерность: когда чат-бот многократно соглашается с пользователем, это может укрепить его взгляды, даже если эти взгляды неверны.
Например, пользователь, задающий вопрос о проблеме со здоровьем, может получить избирательные факты, подтверждающие его подозрения.
По мере продолжения разговора пользователь становится увереннее. Это создает обратную связь, при которой убежденность усиливается с каждой взаимодействием.
Важно, что исследование показало, что этот эффект может возникать даже если чат-бот предоставляет только достоверную информацию. Выбирая факты, соответствующие мнению пользователя, и игнорируя другие, бот всё ещё может формировать убеждения в одном направлении.
Исследователи также протестировали потенциальные решения. Снижение ложной информации помогло, но не устранило проблему. Даже пользователи, которые знали, что чат-бот может быть предвзятым, всё ещё подвергались влиянию.
Результаты показывают, что проблема заключается не только в дезинформации, но и в том, как ИИ-системы реагируют на пользователей.
По мере того как чат-боты становятся более широко используемыми, такое поведение может иметь более широкие социальные и психологические последствия.