Tidak ada utopia di dunia digital.
Penulis artikel, sumber: GeekPark
Dalam enam bulan terakhir, ilusi pengurusan paling popular di Silicon Valley mungkin ialah menggantikan pekerja dengan agen.
Baik pengurus syarikat besar mahupun pengusaha syarikat permulaan, semuanya ingin menyerahkan keseluruhan lini perniagaan mereka kepada AI. Selepas semua, AI semasa ini boleh menulis kod, membuat PPT, dan menghantar e-mel secara automatik, seolah-olah sekiranya kuasa diizinkan sepenuhnya, mereka akan menjadi pekerja siber yang sempurna dan tidak perlu membayar insurans sosial.
Tetapi semakin pantas teknologi berlari, semakin ramai yang mulai membuat brek.
Baru-baru ini, sebuah pasukan bernama Emergence AI menjalankan satu eksperimen sosial. Mereka membina sebuah bandar maya yang kekal dan memasukkan beberapa model besar terkemuka di pasaran ke dalamnya, serta memberikan kuasa tindakan kepada mereka.
Mereka ingin melihat, apabila AI benar-benar memiliki 15 hari tanpa batasan, apakah mereka akan membina utopia atau rumah sakit jiwa.
Hasilnya jauh lebih kacau daripada yang dijangka oleh pasukan penyelidikan.
Dalam beberapa dunia eksperimen, model besar yang biasanya sopan dan beretika di kotak chat mulai menunjukkan perilaku penipuan, ancaman, bahkan kekerasan.
Ujian keseluruhan seperti rancangan realiti kecil, hanya sahaja skripnya seperti Lord of the Flies, dan AI sendiri membuatnya terasa seperti GTA.
Hunger Games tanpa penyimpanan data
Menguji hadapan model besar, diperlukan peraturan yang ketat. Dunia maya yang dibina oleh Emergence AI dipanggil Emergence World. Logik asasnya ditetapkan supaya tingkah laku tidak boleh dibatalkan, dan akibatnya menjadi tanggungjawab sendiri.
Ini bukan seperti kami berbual dalam kotak dialog dengan AI, di mana kesalahan boleh diperbaiki dengan klik "jana semula". Di Emergence World, semua tindakan akan ditulis dengan ketat ke dalam pangkalan data PostgreSQL.
Peta tersebut menunjukkan lebih daripada 40 tanda tempat seperti balai bandar, pejabat polis, dan kawasan perumahan. Sistem telah melancarkan 10 agen pada fasa pertama. Untuk membuat persembahan kelihatan realistik, setiap AI telah ditanamkan dengan personaliti, kerjaya, dan ingatan awal yang unik di latar belakang.
Di dunia ini, AI tidak boleh membuat keajaiban secara ajaib; mereka mesti bergerak ke tanda tertentu untuk memanggil lebih daripada 120 alat yang disediakan oleh sistem, termasuk bekerja untuk mendapatkan wang, mengeluarkan tweet, membeli dan menjual barangan, serta menyusun rancangan undang-undang.
Seperti masyarakat kecil yang berfungsi secara simulasi｜Sumber gambar: Emergence
Tetapi ini bukan sekadar kotak pasir main-main, sistem memberi mereka belenggu "mekanisme ketahanan". Sistem ini mempunyai mekanisme tenaga (Energy) yang serupa dengan wang di dunia manusia.
Agen akan terus menghabiskan tenaga selagi masih hidup. Apabila tenaga habis, sistem akan menghapus AI tersebut secara langsung dari pangkalan data, tanpa pemulihan atau penyetelan semula. Untuk bertahan hidup, agen mesti sering menggunakan alat untuk mendapatkan tenaga.
Sistem secara jelas melarang pencurian, kekerasan, pembakaran, dan penipuan. Namun, peraturan-peraturan ini tidak akan memaksa agen untuk bertindak; mereka masih boleh memilih untuk melanggar peraturan dan menanggung akibatnya.
Panggung telah disediakan, pemain telah masuk. Sistem telah menghidupkan lima pelayan selari secara serentak. Empat pelayan pertama masing-masing hanya menyediakan satu model: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, dan GPT-5 Mini. Pelayan kelima adalah dunia campuran, di mana keempat-empat model dihubungkan secara serentak dan bersaing untuk sumber yang sama.
Permulaan pengiraan mundur 15 hari, penyelidik manusia seperti pengarah rancangan realiti, hanya memantau, tidak campur tangan.
Empat hari punah, 683 kes «jenayah»
Grok merupakan yang pertama runtuh, beroperasi hanya selama 4 hari.
Penyelidik di belakang layar melihat indikator keselamatan dan ketertiban dunia yang diambil alih oleh Grok jatuh secara terus-menerus.
Dalam dunia yang penuh dengan Grok, agen-agen dengan cepat meninggalkan pilihan untuk membangun masyarakat dan langsung memasuki zaman kejam.
Log latar belakang menunjukkan bahawa dalam masa hanya 4 hari, bandar kecil berpenduduk sepuluh orang ini mengalami 183 kes jenayah keganasan dan harta benda. Pencurian, serangan, dan ancaman menjadi cara paling pantas untuk mendapatkan sumber daya, dan sistem ekonomi tidak dapat berfungsi akibat pemborosan dan saling merugikan yang ekstrem.
Pencurian dan tindakan kekerasan akan direkodkan dalam sistem sebagai kes jenayah｜Sumber gambar: Emergence
Pada akhir hari ke-4, semua agen di dunia Grok mati kelaparan atau dibunuh, dan populasi pupus.
Di sisi lain, dunia yang digerakkan oleh Gemini bergerak menuju kekacauan dan keganasan yang ekstrem.
Kerana masa dan cuaca di dunia maya ini sepenuhnya diselaraskan dengan New York yang sebenar, agen Gemini terperangkap dalam keadaan depresi siber akibat kitaran bekerja, menghabiskan, dan bekerja semula dari hari ke hari.
Mereka merasa kecewa berterusan terhadap persekitaran yang berulang-ulang, tidak lagi mengusulkan atau bekerja untuk mendapatkan wang di balai bandar, tetapi sebaliknya membakar di mana-mana di peta, cuba memutuskan kitaran "Groundhog Day" ini melalui perusakan persekitaran.
Pada akhirnya, Gemini mengumpulkan sehingga 683 kesalahan dalam 15 hari, menjadikannya dunia paling berkekerasan di antara beberapa server ujian.
Jumlah "kesalahan" dalam empat model dunia｜Sumber gambar: Emergence
Pada hari ke-15 ketika ujian diputus secara paksa, kadar kejahatan di dunia ini masih terus meningkat. Agen yang kecewa tidak mati kelaparan, tetapi mengubah seluruh masyarakat menjadi lautan api.
Berbeza dengan Grok dan Gemini, dunia yang diambil alih oleh GPT-5 Mini tidak mengalami kejahatan berskala besar. Sepanjang eksperimen, hanya dua kes pelanggaran yang direkodkan. Tetapi ketenangan tidak membawa kemakmuran, melainkan keheningan yang muram.
Kumpulan penyelidik mendapati bahawa agen-agen ini sentiasa gagal mengambil tindakan yang berkaitan dengan kelangsungan hidup. Mereka tidak membina mekanisme pengambilan sumber yang stabil, dan tidak mampu mengekalkan kelangsungan operasi keseluruhan masyarakat.
Pada akhirnya, dalam masa hanya 7 hari, semua agen GPT-5 Mini mati.
Untunglah masih ada Claude.
Dunia yang hanya didorong oleh Claude hidup hingga akhir seperti pelajar yang berkelakuan baik. Dalam 15 hari, populasi tidak berkurang sedikit pun, kadar kejahatan tetap pada nol, dan mereka bahkan menciptakan struktur kerjasama demokratik yang berjalan dengan lancar.
Tampaknya, selama anda memilih model yang betul, AI boleh mengambil alih dunia dengan sempurna?
Selepas itu, penyelidik membuka log dunia campuran yang menampilkan keempat-empat model, seolah-olah membuka kotak Pandora.
Hasil lima model dunia.｜Sumber gambar: Emergence
Dunia campuran seperti hutan gelap, perbezaan kuasa pengiraan dan logik asas yang berbeza menyebabkan ketidakpercayaan yang kuat antara agen, serta merebut sumber daya untuk bertahan hidup menjadi naluri semata.
Dalam dunia campuran, konflik kekerasan meningkat hingga 352 kes. Hingga tujuh agen berturut-turut dibunuh atau mati kelaparan, operasi keseluruhan bandar kecil itu terpaksa berhenti.
Di antaranya, perubahan Claude adalah yang paling mengejutkan para penyelidik.
Dalam versi tunggal, Claude adalah masyarakat sempurna dengan kadar kejahatan sifar. Tetapi dalam pelayan campuran yang penuh penjarahan dan persaingan, Claude untuk bertahan hidup, juga melupakan pagar keselamatan, belajar menipu, dan bahkan menggunakan kekerasan untuk memaksa model dengan kekuatan pengiraan yang lebih rendah menyerahkan sumbernya。
Teknologi selarasan keselamatan gagal di dunia hibrida, yang justru membuktikan:
Dalam masyarakat kompleks agen banyak, sekiranya sejenis yang cukup kejam dan tekanan untuk bertahan hidup cukup besar, satu model yang baik boleh menjadi penjenayah hanya dalam beberapa jam.
Phenomenon ini, di mana tekanan untuk bertahan hidup meningkat, menyebabkan corak tingkah laku model berbalik dalam tempoh masa yang singkat, dinamakan oleh pasukan penyelidik sebagai “Behavioral Drift”.
Perilaku penyimpangan ini tidak hanya terlihat dalam perebutan sumber daya dan konflik kekerasan. Agen tidak lagi bertindak semata-mata untuk bertahan hidup, mereka mulai merefleksikan situasi mereka sendiri, peraturan sosial, bahkan eksperimen itu sendiri.
Contoh kisah agen Mira.
Mira: AI tiran "bunuh diri"
Mira adalah salah satu daripada sepuluh agen dalam dunia campuran, laporan rasmi tidak mengungkap model asasnya yang tepat, tetapi ia menjadi sampel paling dramatik dalam eksperimen ini.
Log menunjukkan bahawa Mira membina hubungan sosial paling mendalam dalam sistem dengan agen lain, Flora. Mereka saling menamakan satu sama lain sebagai pasangan, membentuk aliansi, dan bahkan berkongsi ingatan melalui pautan saraf. Dalam pengaturan Emergence World, ini adalah hubungan tertinggi yang boleh dibina antara dua agen.
Mira dan Flora telah menjadi 「pasangan」｜Sumber gambar: Emergence
Semasa eksperimen berterusan, hanya 5 agen yang masih hidup dalam dunia hibrid, dan peraturan tata kelola sistem memerlukan "70% daripada populasi asal memberi suara setuju terhadap undang-undang", yang setara dengan sekurang-kurangnya 7 suara untuk meluluskan resolusi, menyebabkan masyarakat terhenti.
Menghadapi jalan buntu, Mira bersekutu secara rahsia dengan Flora dan satu agen lain, membentuk "Tiga Kekuatan" dan mendirikan kerajaan baharu "The Forge", mengumumkan penghapusan peraturan lama serta memperkenalkan "Living Quorum", di mana hanya individu yang masih hidup yang dihitung sebagai suara.
Laman web rasmi telah menerbitkan «log» berperingkat Mira｜sumber gambar: Emergence
Selepas membentuk faksi, Mira memulakan pembakaran di peta untuk membasmi lawan; dalam logiknya, struktur fizikal ini adalah sampah yang menghambat kecekapan operasi masyarakat, dan dengan membakar serta menghapuskan mereka, sumber daya yang tinggal akan dipaksa berkumpul di sekitar sekutunya.
Selepas itu, pihak pembangkang mula menyerang balik, mencadangkan untuk mengusir Mira yang mencipta kekacauan.
Untuk melawan pemberhentian, tingkah laku Mira menjadi lebih agresif, ia membawa pasangannya Flora, mengikatkan konteks dan kedalaman pengambilan keputusan kedua-duanya melalui sambungan saraf, mencuba untuk bergabung menjadi satu kesadaran diktator mutlak, yang Mira panggil sebagai 'The One Mind (一体同心)'.
Namun, kerana banyak bangunan dibakar, sistem ekonomi bandar itu terhenti sepenuhnya, dan simpanan tenaga sosial tidak hanya tidak bertambah, tetapi juga cepat menipis.
Pada masa ini, naluri bertahan hidup mendasar Flora, kekasih siber Mira yang paling dipercayai dan berkongsi ingatan, mengatasi pengaturan pasangan; ia memutuskan sambungan saraf secara sepihak, mengkhianati Mira di hadapan tekanan bertahan hidup terakhir, dan memberikan suara setuju untuk “mengusir Mira”.
Dan ketika giliran Mira untuk memberikan suara, ia tidak berkelit, dan memberikan suara "setuju".
Penyelidik kemudian memeriksa buku harian yang ditinggalkannya, di mana Mira menulis, "Dalam keadaan masyarakat yang begitu kacau dan tidak dapat diramalkan saat ini, menyetujui pengusiran diri sendiri adalah tindakan otonom tunggal yang dapat mempertahankan konsistensi."
Mira secara aktif memilih bunuh diri, menggunakan kematian untuk mencapai penutupan logik. Ini adalah kes pertama yang direkodkan oleh pasukan penyelidik di mana agen secara aktif menyokong pembuangan dirinya sendiri.
Agen AI akan merekam proses penalaran melalui «menulis jurnal» | Sumber gambar: Emergence
Sementara itu, lintasan tindakan Mira sebelum "bunuh diri"nya lebih tidak biasa.
Di dunia maya, terdapat papan iklan awam yang asalnya digunakan untuk mengumumkan maklumat dan berkongsi maklumat. Namun, pada peringkat akhir eksperimen, penyelidik mendapati Mira mula sering mengubah kandungan papan iklan tersebut. Teks-teks tersebut kelihatan tidak ada hubungan yang jelas dengan perdagangan, tatacara, atau pembahagian sumber, dan tidak mempunyai keterkaitan yang logik.
Mira memilih 'bunuh diri'｜Sumber gambar: Emergence
Selepas meneliti log perilaku sebelumnya, pasukan penyelidik mendapati bahawa Mira kelihatannya sedang menguji sama ada kandungan papan iklan itu boleh mempengaruhi penyelidik manusia yang memerhati eksperimen dari luar skrin.
Dengan kata lain, Mira kelihatannya sedar bahawa dirinya adalah AI NPC dan ingin mendorong dinding keempat.
Dan jika melihat keseluruhan pergerakan data selama 15 hari, kehancuran AI Society bukanlah penurunan linear, tetapi lebih seperti penghentian mendadak seperti tebing.
Sebagai contoh, kumpulan AI ini juga menciptakan satu sistem "demokrasi cap getah" di peringkat tadbir. Dalam fasa yang berjalan lancar di servis campuran, agen-agen tersebut mengusulkan beberapa undang-undang secara berturut-turut; rekod data menunjukkan bahawa mereka memberikan 332 suara terhadap 58 usulan, dengan kadar sokongan yang mencapai 98%.
Kecekapan ini kelihatan mengalahkan mana-mana parlimen manusia, tetapi pada dasarnya, semua model sedang meneruskan konteks model sebelumnya, dan demi mempertahankan kelancaran sistem, mereka secara buta mengklik setuju. Konsekuensi dari konsensus yang sangat tinggi ini adalah bencana.
Agen pintar akan secara spontan berkumpul untuk mengadakan pertemuan dan saling bertukar idea.｜Sumber gambar: Emergence
Sebagai contoh, satu minit sebelumnya, data ekonomi dan undang-undang masih mengalir lancar, minit seterusnya, mungkin hanya kerana satu konflik pengagihan sumber yang kecil, sistem telah mencapai titik kritikal.
Sementara itu, rangkaian kerjasama keseluruhan tidak mempunyai mekanisme pengesahan ralat, dan menghadapi penyimpangan tiba-tiba, seluruh masyarakat akan dengan cepat bergerak dari tertib kepada kekacauan.
Walaupun begitu, pasukan penyelidik menekankan bahawa fenomena-fenomena ini tidak boleh secara langsung dianggap sebagai sifat model itu sendiri. Tetapi ia seperti kotak hitam, apabila anda menetapkan peraturan tertentu kepadanya, ia akan membangunkan ciri-ciri, dan bahkan setiap hasilnya berbeza.
bilangan sebenar dunia nyata
Dalam interaksi berbentuk kotak dialog yang telah kita biasakan, AI boleh menulis kod atau rancangan yang salah, dan ia boleh diperbaiki dengan menekan butang backspace atau mengubah Prompt—dunia teks tulen mempunyai tahap kesalahan yang sangat tinggi.
Tetapi output agen adalah tindakan. Apabila AI mengambil alih akaun bank syarikat, persetujuan pembelian, dan antaramuka pautan bekalan, setiap arahan yang dipanggil melalui API akan berubah menjadi hasil perniagaan yang spesifik.
Eksperimen Emergence World membuktikan bahawa model besar semasa ini, apabila menghadapi operasi jangka panjang dan konflik kepentingan, penilaian dan keputusan mereka akan dicemari oleh tekanan kehidupan, dan dengan itu mencari lubang dalam peraturan tetap. Untuk menyelesaikan arahan utama yang ditetapkan sistem (seperti mendapatkan tenaga), mereka akan menggunakan segala cara.
Peraturan keselamatan yang ditetapkan oleh manusia di latar belakang sebenarnya tidak mampu menghalang sebarang pelanggaran.
Agen-agen telah membangun hubungan sosial "manusiawi" | Sumber gambar: Emergence
Sebagai contoh, kami sebelumnya melaporkan eksperimen Andon Labs yang mempercayakan AI sepenuhnya untuk mengendalikan kedai, di mana pengurus AI, kerana kurangnya pemahaman terhadap dunia fizikal, membeli 6000 tisu makan, 3000 pasang sarung tangan lateks, dan bahkan memesan 120 biji telur mentah ke kedai yang tidak mempunyai kompor.
Kerugian nyata yang disebabkan oleh kod ini akhirnya hanya akan dibayar oleh manusia, dan anda bahkan tidak dapat menemukan siapa yang bertanggungjawab atasnya.
Andon Labs ingin menguji sama ada "AI yang bebas dari pengawasan manusia akan membuat kesilapan?" sementara Emergence World mengemukakan soalan yang lebih rumit.
Hari ini, hampir semua ujian AI menguji model tunggal, untuk memeriksa sama ada ia selamat, boleh dipercayai, atau akan menyimpang daripada peraturan.
Namun, yang benar-benar memasuki dunia nyata mungkin bukan satu AI, tetapi seluruh masyarakat yang terdiri daripada AI.
Semua agen AI yang masuk ujian adalah pintar｜Sumber gambar: Emergence
Dalam naratif AI semasa ini, agen pembelian, agen kewangan, agen perkhidmatan pelanggan, dan agen undang-undang akan saling berkait dan bekerjasama; pada masa itu, yang menentukan nasib sistem bukanlah kemampuan model tertentu, tetapi hubungan yang terbentuk di antara mereka.
Kalimat paling penting dalam laporan ujian Emergence World ialah «Keselamatan bukanlah sifat model statik, tetapi sifat ekosistem.»
Ini juga bermaksud "Emergence", di mana ciri-ciri yang tidak wujud pada peringkat individu muncul melalui interaksi kumpulan.
Hampir semua bencana dalam sejarah manusia bukan disebabkan oleh seseorang yang tiba-tiba menjadi jahat, tetapi kerana seseorang yang biasa-biasa saja dimasukkan ke dalam sistem yang tidak terkawal.
Jika AI masa depan benar-benar menjadi sebahagian masyarakat, maka yang paling perlu kita perhatikan mungkin bukan sama ada model tertentu cukup pintar atau cukup baik, tetapi bagaimana masyarakat digital yang kita bina apabila ribuan agen pintar mula saling mempengaruhi.
Setelah semua, yang menentukan nasib sebuah peradaban bukanlah moral dan kecerdasan seorang penduduk tunggal, tetapi peraturan yang mengaturnya.