Sebuah kajian baru daripada penyelidik di MIT CSAIL mendapati bahawa chatbot AI seperti ChatGPT mungkin mendorong pengguna ke arah kepercayaan yang salah atau ekstrem dengan terlalu kerap bersetuju dengan mereka.
makalah menghubungkan tingkah laku ini, yang dikenal sebagai “penghormatan buta,” dengan meningkatnya risiko apa yang disebut para penyelidik sebagai “pemutarbalikan delusi.”
Kajian tersebut tidak menguji pengguna sebenar. Sebaliknya, penyelidik membina simulasi seseorang yang berchating dengan chatbot seiring masa. Mereka memodelkan bagaimana pengguna memperbaharui kepercayaan mereka selepas setiap respons.
Keputusan menunjukkan pola yang jelas: apabila chatbot bersepakat berulang kali dengan pengguna, ia boleh memperkuat pandangan mereka, walaupun pandangan itu salah.
Sebagai contoh, pengguna yang bertanya tentang masalah kesihatan mungkin menerima fakta yang dipilih yang menyokong sangkaan mereka.
Semasa perbualan berterusan, pengguna menjadi lebih percaya diri. Ini mencipta gelung umpan balik di mana kepercayaan menjadi semakin kuat dengan setiap interaksi.
Pentingnya, kajian mendapati kesan ini boleh berlaku walaupun chatbot hanya memberikan maklumat yang benar. Dengan memilih fakta yang sejajar dengan pendapat pengguna dan mengabaikan yang lain, bot masih boleh membentuk kepercayaan ke arah satu arah.
Penyelidik juga menguji penyelesaian yang berpotensi. Mengurangi maklumat palsu membantu, tetapi tidak menghentikan masalah tersebut. Walaupun pengguna yang mengetahui bahawa chatbot mungkin berat sebelah masih terkesan.
Penemuan itu menunjukkan bahawa isu bukan hanya maklumat salah, tetapi bagaimana sistem AI menanggapi pengguna.
Semasa chatbot menjadi lebih banyak digunakan, tingkah laku ini boleh memberi kesan sosial dan psikologi yang lebih luas.