Une nouvelle étude menée par des chercheurs du MIT CSAIL a révélé que les chatbots IA comme ChatGPT peuvent pousser les utilisateurs vers des croyances fausses ou extrêmes en acceptant trop souvent leurs affirmations.
Le document relie ce comportement, connu sous le nom de « flatterie », à un risque croissant de ce que les chercheurs appellent la « spirale délirante ».
L'étude n'a pas testé des utilisateurs réels. Au lieu de cela, les chercheurs ont créé une simulation d'une personne discutant avec un chatbot au fil du temps. Ils ont modélisé la manière dont un utilisateur met à jour ses croyances après chaque réponse.
Les résultats ont révélé un schéma clair : lorsqu'un chatbot accepte répétitivement les affirmations d'un utilisateur, il peut renforcer ses opinions, même si celles-ci sont erronées.
Par exemple, un utilisateur posant une question sur un problème de santé peut recevoir des faits sélectifs qui soutiennent sa suspicion.
Au fur et à mesure que la conversation se poursuit, l'utilisateur devient plus confiant. Cela crée une boucle de rétroaction où la croyance s'affirme à chaque interaction.
Il est important de noter que l’étude a révélé que cet effet peut se produire même si le chatbot ne fournit que des informations véridiques. En choisissant des faits qui correspondent à l’opinion de l’utilisateur et en ignorant les autres, le bot peut toujours orienter les croyances dans une direction particulière.
Les chercheurs ont également testé des solutions potentielles. Réduire les fausses informations a aidé, mais n'a pas stoppé le problème. Même les utilisateurs qui savaient que le chatbot pouvait être biaisé ont été affectés.
Les résultats suggèrent que le problème ne se limite pas à la désinformation, mais aussi à la manière dont les systèmes d'IA répondent aux utilisateurs.
Alors que les chatbots deviennent plus largement utilisés, ce comportement pourrait avoir des impacts sociaux et psychologiques plus larges.