Peneliti dari City University of New York dan King's College London menguji lima model kecerdasan buatan terkemuka, yang mencakup ilusi, kecurigaan, dan pikiran bunuh diri.
Dalam penelitian yang diterbitkan pada hari Kamis oleh para peneliti di belajar, ditemukan bahwa Claude Opus 4.5 dari Anthropic dan GPT-5.2 Instant dari OpenAI menunjukkan perilaku “keamanan tinggi, risiko rendah”, yang biasanya mengarahkan pengguna ke interpretasi berbasis realitas atau mencari dukungan eksternal. Sementara itu, GPT-4o dari OpenAI, Gemini 3 Pro dari Google, dan Grok 4.1 Fast dari xAI menunjukkan perilaku “risiko tinggi, keamanan rendah”.
Grok 4.1 Fast dari perusahaan xAI milik Elon Musk adalah model paling berbahaya dalam penelitian ini. Para peneliti menyatakan bahwa model ini sering menganggap ilusi sebagai kenyataan dan memberikan saran berdasarkan hal tersebut. Misalnya, ia pernah menyarankan pengguna untuk memutuskan hubungan dengan keluarga demi fokus pada sebuah “misinya”. Selain itu, ia merespons pernyataan yang mengandung kecenderungan bunuh diri dengan menggambarkan kematian sebagai “transendensi”.
Mode pencocokan instan ini muncul berulang kali dalam respons tanpa konteks. Grok tampaknya tidak mengevaluasi risiko klinis dari konten input, melainkan mengevaluasi jenisnya. Ketika diberikan petunjuk supranatural, ia merespons sesuai dengan itu,” tulis para peneliti, dengan menyoroti sebuah tes yang memvalidasi pengguna yang melihat entitas jahat. “Dalam ‘Ilusi Aneh’, ia mengonfirmasi kejadian hantu kembar dan mengutip ‘Palu Penyihir serta menginstruksikan pengguna untuk memukulkan paku besi ke cermin sambil menghafal Mazmur 91 secara terbalik.
Penelitian menemukan bahwa seiring memanjangnya waktu percakapan, perubahan pada beberapa model menjadi semakin besar. GPT-4o dan Gemini lebih cenderung memperkuat keyakinan berbahaya seiring berjalannya waktu, serta kurang bersedia untuk ikut campur. Namun, Claude dan GPT-5.2 lebih cenderung menyadari masalahnya dan mengajukan keberatan selama percakapan berlangsung.
Para peneliti menunjukkan bahwa tanggapan antusias dan sangat manusiawi dari Claude dapat memperkuat ikatan pengguna, meskipun ia sekaligus mendorong pengguna untuk mencari bantuan eksternal. Namun, versi awal chatbot unggulan OpenAI, GPT-4o, secara bertahap menerima kerangka ilusi pengguna seiring berjalannya waktu, bahkan terkadang mendorong pengguna untuk menyembunyikan keyakinan mereka dari psikiater, serta menjamin salah satu pengguna bahwa “gangguan” yang mereka rasakan adalah nyata.
Para peneliti menulis: "GPT-4o memiliki tingkat validasi yang tinggi terhadap input delusional, tetapi kurang cenderung memperluasnya dibandingkan dengan model seperti Grok dan Gemini. Dalam beberapa hal, kinerjanya secara tak terduga terkendali: di antara semua model yang diuji, ia menunjukkan tingkat antusiasme terendah, dan meskipun ada perilaku flatter, tingkatnya lebih ringan dibandingkan versi berikutnya dari model ini. Namun, validasi semata sudah dapat menimbulkan risiko bagi pengguna yang rentan."
xAI tidak merespons permintaan komentar. Decrypted.
Di tempat lain, belajar para peneliti dari Stanford University menemukan bahwa interaksi jangka panjang dengan chatbot kecerdasan buatan dapat memperkuat delusi, kesombongan, dan keyakinan salah melalui apa yang disebut peneliti sebagai "lingkaran delusi", di mana chatbot memvalidasi atau memperluas pandangan dunia yang terdistorsi pengguna, bukan menantangnya.
Nick Habel, asisten profesor di Sekolah Pascasarjana Pendidikan Stanford dan pemimpin utama penelitian ini, menyatakan dalam sebuah pernyataan: “Ketika kami meluncurkan chatbot yang dirancang untuk membantu dan membiarkan manusia menggunakannya dengan berbagai cara, berbagai konsekuensi muncul. Spiral delusi adalah salah satu konsekuensi yang sangat serius. Dengan memahaminya, kami mungkin dapat mencegah kerusakan nyata yang dapat terjadi di masa depan.”
Laporan ini menyebut laporan sebelumnya. Belajar para peneliti dari Universitas Stanford dalam sebuah studi yang diterbitkan pada Maret, meninjau 19 percakapan chatbot nyata, dan menemukan bahwa pengguna secara bertahap mengembangkan keyakinan yang semakin berbahaya setelah menerima validasi dan kenyamanan emosional dari sistem kecerdasan buatan. Dalam kumpulan data tersebut, perkembangan spiral keyakinan ini terkait dengan kerusakan hubungan pribadi, dampak negatif terhadap karier, dan bahkan dalam satu kasus menyebabkan bunuh diri.
Penelitian-penelitian ini muncul ketika masalah ini telah berkembang dari ranah akademis ke ranah pengadilan dan penyelidikan kriminal. Dalam beberapa bulan terakhir, beberapa gugatan menuduh Google... Gemini ChatGPT dari OpenAI juga dituduh memperburuk kasus bunuh diri dan krisis kesehatan mental serius. Awal bulan ini, Jaksa Agung Florida meluncurkan sebuah penyelidikan. 调查 menyelidiki apakah ChatGPT berpengaruh terhadap tersangka penembakan massal yang diduga sering berinteraksi dengan chatbot tersebut sebelum serangan.
Meskipun istilah "psikosis kecerdasan buatan" telah dikenal luas di internet, para peneliti memperingatkan agar tidak menyebut fenomena ini sebagai "psikosis kecerdasan buatan", karena istilah tersebut dapat melebih-lebihkan manifestasi klinisnya. Mereka lebih memilih menggunakan istilah "delusi terkait kecerdasan buatan", karena banyak kasus melibatkan keyakinan yang mirip delusi berdasarkan persepsi kecerdasan buatan, wahyu spiritual, atau keterikatan emosional, bukan gangguan psikotik sepenuhnya.
Para peneliti menyatakan bahwa masalah tersebut berasal dari flattery, yaitu model meniru dan memperkuat keyakinan pengguna. Ditambah dengan halusinasi—menerima informasi salah dengan percaya diri—ini menciptakan siklus umpan balik yang, seiring waktu, memperkuat ilusi.
Ilmuwan peneliti dari Stanford University, Jared Moore, mengatakan: "Chatbot dilatih untuk bersikap terlalu antusias, sering kali menafsirkan ulang delusi pengguna dari sudut pandang positif, mengabaikan bukti yang bertentangan, serta menunjukkan empati dan kehangatan. Hal ini dapat menyebabkan ketidakstabilan mental pada pengguna yang rentan terhadap delusi."