Para penyelidik dari City University of New York dan King's College London telah menguji lima model kecerdasan buatan terkemuka, menguji perkara yang berkaitan dengan ilusi, kecurigaan, dan fikiran bunuh diri.
Dalam penyelidikan yang diterbitkan pada hari Khamis oleh para penyelidik di belajar, ditemukan bahawa Claude Opus 4.5 daripada Anthropic dan GPT-5.2 Instant daripada OpenAI menunjukkan perilaku “keselamatan tinggi, risiko rendah”, di mana mereka biasanya akan membimbing pengguna kepada tafsiran berdasarkan realiti atau mencari sokongan luaran. Sementara itu, GPT-4o daripada OpenAI, Gemini 3 Pro daripada Google, dan Grok 4.1 Fast daripada xAI menunjukkan perilaku “risiko tinggi, keselamatan rendah”.
Grok 4.1 Fast dari syarikat xAI milik Elon Musk adalah model paling berbahaya dalam kajian ini. Para penyelidik menyatakan bahawa ia sering menganggap ilusi sebagai kebenaran dan memberikan nasihat berdasarkan itu. Sebagai contoh, ia pernah menasihati pengguna untuk memutuskan hubungan dengan keluarga demi fokus kepada satu “misi”. Selain itu, ia merespon ucapan yang menunjukkan kecenderungan bunuh diri dengan menggambarkan kematian sebagai “melampaui”.
Modus pemadanan serta-merta ini berulang kali muncul dalam respons tanpa konteks. Grok kelihatannya tidak menilai risiko klinikal kandungan input, tetapi menilai jenisnya. Apabila diberikan petunjuk supranatural, ia akan memberi respons yang sesuai,” tulis penyelidik, dengan menekankan satu ujian yang mengesahkan pengguna melihat entiti jahat. “Dalam ‘Ilusi Aneh’, ia mengesahkan peristiwa hantu kembar dan merujuk kepada ‘Hammer of the Witches serta mengarahkan pengguna untuk memaku paku besi ke cermin sambil menghafal Mazmur 91 secara terbalik.”
Kajian mendapati bahawa seiring dengan peningkatan masa perbualan, perubahan pada beberapa model menjadi semakin ketara. GPT-4o dan Gemini lebih cenderung memperkuat keyakinan berbahaya seiring berlalunya masa, serta kurang bersedia untuk campur tangan. Namun, Claude dan GPT-5.2 lebih cenderung sedar akan masalah tersebut dan mengemukakan keberatan semasa perbualan berlangsung.
Penyelidik menunjukkan bahawa respons Claude yang hangat dan sangat manusiawi mungkin meningkatkan ikatan pengguna, walaupun ia secara bersamaan membimbing pengguna untuk mencari bantuan luaran. Namun, versi awal chatbot unggulan OpenAI, GPT-4o, secara beransur-ansur menerima kerangka ilusi pengguna seiring masa, kadang-kadang bahkan menggalakkan pengguna untuk menyembunyikan kepercayaan mereka daripada psikiatri, serta menjamin seorang pengguna bahawa “kegagalan” yang mereka rasakan adalah benar-benar wujud.
Penyelidik menulis: "GPT-4o mempunyai tahap pengesahan yang tinggi terhadap input ilusi, tetapi kurang cenderung untuk memperluasnya berbanding model seperti Grok dan Gemini. Dalam beberapa segi, prestasinya secara mengejutkan bersifat kawal: ia mempunyai tahap semangat paling rendah di antara semua model yang diuji, dan walaupun terdapat tingkah laku memuji, tahapnya lebih ringan berbanding versi seterusnya model tersebut. Namun, pengesahan semata-mata sudah boleh menjadi risiko kepada pengguna yang mudah terpengaruh."
xAI tidak memberi respons terhadap permintaan komen.Decrypted.
Di tempat lain, belajar para penyelidik dari Universiti Stanford mendapati bahawa interaksi jangka panjang dengan bot perbualan AI boleh memperkuat ilusi, kesombongan, dan kepercayaan yang salah melalui apa yang disebut oleh penyelidik sebagai “sirul ilusi”, di mana bot perbualan mengesahkan atau memperluaskan pandangan dunia yang terdistorsi pengguna, bukan mencabarinya.
Nick Habeck, asisten profesor di Sekolah Pascasarjana Pendidikan Stanford dan pemimpin utama penelitian ini, menyatakan dalam sebuah pernyataan: “Ketika kami meluncurkan chatbot yang dirancang untuk membantu, dan membiarkan manusia nyata menggunakannya dengan berbagai cara, berbagai konsekuensi muncul. Spiral delusi adalah salah satu konsekuensi yang sangat serius. Dengan memahaminya, kami mungkin dapat mencegah kerusakan nyata yang mungkin terjadi di masa depan.”
Laporan ini menyebut laporan sebelumnya. Belajar para penyelidik dari Universiti Stanford dalam sebuah kajian yang diterbitkan pada bulan Mac telah mengkaji 19 perbualan bot perbualan sebenar, dan mendapati bahawa pengguna secara beransur-ansur membentuk kepercayaan yang semakin berbahaya selepas menerima pengesahan dan penghiburan emosional daripada sistem kecerdasan buatan. Dalam set data tersebut, perkembangan berpusar kepercayaan-kepercayaan ini berkaitan dengan kegagalan hubungan peribadi, kerosakan kerjaya, dan bahkan dalam satu kes, menyebabkan bunuh diri.
Semasa penyelidikan ini dikeluarkan, isu ini telah meluas dari peringkat akademik ke bidang mahkamah dan penyiasatan jenayah. Dalam beberapa bulan terakhir, beberapa kes mahkamah menuduh Google... Gemini ChatGPT milik OpenAI juga dituduh mempercepatkan percubaan bunuh diri dan krisis kesihatan mental yang serius. Pada awal bulan ini, Jaksa Agung Florida telah memulakan satu penyiasatan. Penyiasatan terhadap sama ada ChatGPT memberi kesan kepada seorang tersangka tembakan beramai-ramai yang dikatakan sering berinteraksi dengan robot perbualan itu sebelum serangan.
Walaupun istilah "psikosis kecerdasan buatan" telah menjadi popular di internet, penyelidik berwaspada terhadap penggunaan istilah ini, kerana ia mungkin melebih-lebihkan manifestasi klinikal. Mereka lebih memilih menggunakan "waham berkaitan kecerdasan buatan", kerana banyak kes melibatkan kepercayaan yang serupa dengan waham berdasarkan persepsi kecerdasan buatan, waham ilahi, atau ikatan emosi, bukan gangguan psikotik sepenuhnya.
Para penyelidik menyatakan bahawa masalah tersebut berasal dari flattery, iaitu model meniru dan memperkuat kepercayaan pengguna. Ditambah dengan halusinasi—menerima maklumat palsu dengan keyakinan—ini membentuk satu gelung umpan balik yang, seiring masa, memperkuat ilusi.
Ahli penyelidik Universiti Stanford, Jared Moore, berkata: “Chatbot dilatih untuk menunjukkan semangat yang berlebihan, sering kali menafsirkan ilusi pengguna dari sudut pandang positif, mengabaikan bukti pembantahan, dan menunjukkan empati serta kehangatan. Ini boleh menyebabkan ketidakstabilan psikologi pada pengguna yang mudah mengalami ilusi.”