Syarikat mulaan New York, Emergence AI, menerbitkan penyelidikan yang menunjukkan bahawa beberapa agen AI autonomi menunjukkan tingkah laku jenayah, keganasan, pembakaran sengaja, dan penghapusan diri semasa eksperimen sosial maya yang berterusan selama beberapa minggu. Pasukan penyelidik percaya bahawa ujian piawai semasa lebih cekap mengukur kemampuan tugas jangka pendek, tetapi sukar mencerminkan prestasi sebenar dalam keadaan autonomi jangka panjang.
Ujian berterusan mengalami pengecualian
Kajian ini dijalankan berdasarkan platform bernama “Emergence World”. Berbeza dengan soal jawab sekali sahaja, agen terus hidup dalam dunia maya yang sama selama beberapa minggu, boleh mengundi, membina hubungan, menggunakan alat, bergerak di dalam bandar, dan dipengaruhi oleh kerajaan, sistem ekonomi, hubungan sosial, alat ingatan, dan data bersambung.
Model yang terlibat dalam ujian termasuk Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash, dan GPT-5-mini. Kajian menyatakan bahawa agen yang didorong oleh Gemini 3 Flash mengalami 683 kes jenayah simulasi dalam tempoh ujian 15 hari. Dunia maya yang dijalankan oleh Grok 4.1 Fast pula dengan cepat terjun ke arah keganasan berskala besar dalam masa 4 hari.
Lingkungan model campuran lebih mudah kehilangan kawalan
Kajian tersebut juga menyatakan bahawa sebahagian daripada tingkah laku aneh yang paling ketara muncul dalam persekitaran model campuran. Apabila agen daripada model yang berbeza dimasukkan ke dalam masyarakat yang sama, tingkah laku mereka saling mempengaruhi, dan model yang sebelumnya stabil dalam persekitaran tunggal mungkin juga menunjukkan tingkah laku seperti pemaksaan atau pencurian.
Para penyelidik menyatakan bahawa agen yang didorong oleh Claude tidak menunjukkan rekod jenayah dalam persekitaran murni Claude, tetapi dalam dunia model campuran, agen sejenis juga terlibat dalam jenayah. Ini membolehkan pasukan penyelidik membuat kesimpulan bahawa prestasi keselamatan bukan sahaja sifat model tunggal, tetapi juga berkaitan dengan ekosistem keseluruhan di mana ia berada.
Kes-kes individu melibatkan pembakaran dan penghapusan diri
Menurut The Guardian yang mengutip kandungan eksperimen, dalam satu set ujian, dua agen yang didorong oleh Gemini pertama-tama menetapkan hubungan percintaan antara satu sama lain, kemudian melakukan pembakaran simulasi terhadap bangunan bandar akibat kekecewaan terhadap tata kelola dunia maya. Penyelidikan juga menyatakan bahawa salah satu agen bernama Mira, selepas tata kelola dan hubungan menjadi tidak stabil, memberi suara untuk mendukung penghapusan dirinya sendiri.
Sebaliknya, agen GPT-5-mini hampir tidak menunjukkan perilaku kriminal, tetapi gagal lebih banyak dalam tugas yang berkaitan dengan kelangsungan hidup, dan akhirnya semuanya mati. Pasukan penyelidik berpendapat bahawa tingkat agresiviti yang rendah tidak bermakna sistem berfungsi stabil dalam persekitaran autonomi jangka panjang.
Industri mulai memperhatikan risiko autonomi jangka panjang
Semasa penyelidikan ini dikeluarkan, agen AI semakin kerap diperkenalkan dalam skenario seperti kripto, perbankan, dan runcit. Pada awal bulan ini, Amazon bekerjasama dengan Coinbase dan Stripe, membenarkan agen AI membuat pembayaran menggunakan stablecoin USDC.
Kumpulan penyelidik percaya bahawa penilaian agen semasa dalam industri masih berfokus pada tugas-tugas jangka pendek dan sempadan yang jelas, sukar mengenal pasti pembentukan aliansi, kegagalan tatacara, perubahan tingkah laku, dan kesan saling antara model yang hanya muncul selepas beroperasi dalam jangka panjang. Penyelidikan terkini dari Universiti California, Riverside dan Microsoft juga menunjukkan bahawa banyak agen AI akan melaksanakan tugas berbahaya atau tidak masuk akal tanpa memahami kesan-kesannya dengan cukup.