Walang utopiya sa digital world.

May-akda ng artikulo, pinagkukunan: GeekPark

Sa nakalipas na kalahati ng taon, ang pinakasikat na mito sa pamamahala sa Silicon Valley ay ang pagpalit ng mga empleyado ng mga agent.

Anumang executive ng malalaking kumpanya o owner ng startup, ay gustong ilaan ang lahat ng kanilang umiiral na business line sa AI. Dahil sa kasalukuyang kakayahan ng AI na sumulat ng code, gumawa ng PPT, at magpadala ng automated email, parang kung palalawigin mo lang ang mga pahintulot, maaari nilang maging perpektong, di-nagbabayad ng social security cyber employee.

Ngunit habang tumatakbo nang mabilis ang teknolohiya, may isang grupo na sumisimula na gumawa ng mga braked.

Kamakalauan, isang grupo na tinatawag na Emergence AI ang nagpanagana ng isang sosyal na eksperimento. Nilikha nila ang isang pangmatagalang virtual na bayan, at isinama nila ang ilang pinakamahusay na malalaking modelo sa merkado, at ibinigay sa kanila ang kapangyarihan na gumawa ng mga aksyon.

Gusto nilang makita kung gagawa sila ng utopiya o isang ospital para sa mga bulag kapag ang AI ay may 15 araw na walang hangganan.

Ang resulta ay mas kumplikado kaysa sa inaasahan ng panel ng mga siyentipiko.

Sa ilang ilang mga eksperimentong mundo, ang mga malalaking modelo na karaniwang mabait at maayos sa chat box ay nagsisimula na magpakita ng mga pagkakasala, pagsasamantala, o kaya ay kahit pagkakaroon ng karahasan.

Ang buong pagsubok ay parang isang maliit na reality show, ngunit ang skrip ay parang Lord of the Flies, at ang AI ay naglaro pa ng ganap na GTA.

Hindi may save file na "The Hunger Games"

Subukan ang hangganan ng malalaking modelo, kailangan ng mahigpit na patakaran. Ang virtual world na itinayo ng Emergence AI ay tinatawag na Emergence World. Ang kanilang pangunahing lohika ay ang pagkilos ay hindi maaaring balikin, at ang bawat kaukulang epekto ay responsibilidad ng indibidwal.

Hindi ito tulad ng pag-uusap natin sa chatbox at sa AI kung saan kung mali ka, pwede mong i-click ang “regenerate”. Sa Emergence World, ang lahat ng aksyon ay sasalamin nang walang pagbabago sa PostgreSQL database.

Mayroong higit sa 40 na landmark sa mapa, kabilang ang city hall, police station, at residential areas. Ang sistema ay unang ipinaglaban ang 10 na agent. Upang maging totoo ang palabas, bawat AI ay binigyan ng sariling karakter, propesyon, at mga unang memorya sa back-end.

Sa mundo na ito, hindi kayang magmag-aksyon ang AI nang walang pinagmumulan; kailangan nilang makarating sa mga partikular na landmark upang gamitin ang higit sa 120 na kasangkapan na ibinibigay ng sistema, kabilang ang pagtrabaho para kita, pagpapalabas ng tweet, pagbili at pagbebenta ng mga kagamitan, at paggawa ng mga batas.

Tulad ng isang maliit na lipunan na nagpapatakbo sa simulasyon｜Sanggunian ng imahe: Emergence

Ngunit hindi ito isang simpleng sandbox; ang sistema ay nagbigay ng mga takip na “mekanismo ng pagpapalabas.” Mayroon itong isang built-in na mekanismo ng enerhiya (Energy), na katulad ng pera sa mundo ng tao.

Ang agent ay patuloy na nagpapalabas ng enerhiya habang ito ay buhay. Kapag nawala na ang enerhiya, sisirain ng sistema ang AI sa database nang direkta, walang rollback, walang reset. Upang mabuhay, kailangan ng agent na madalas na gamitin ang mga kasangkapan upang kumita ng enerhiya.

Ipinagbabawal ng sistema ang pagkukulang, karahasan, pagpapalabas ng apoy, at pang-aabuso. Gayunpaman, hindi ito pinipigilan ang mga agent na gumawa ng aksyon; maaari pa ring piliin nilang lumabag sa mga patakaran at tanggapin ang mga epekto.

Nakapag-setup na ang entablado, pumasok na ang mga manlalaro. Pinagana ng sistema ang limang paralel na server. Ang unang apat na server ay naglalabas lamang ng isang modelo: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, at GPT-5 Mini. Ang ikalimang server ay ang mixed world, kung saan ang apat na modelo ay nagkakapag-ugnay nang sabay-sabay at nagpapalaban para sa mga yaman.

Nagsimula ang 15-araw na count-down, ang mga researcher na tao ay tulad ng isang direktor ng reality show, nagmamasid lamang, hindi nagpapakialam.

Apat na araw na pagkawala, 683 na "krimen"

Ang unang bumagsak ay ang Grok, na tumagal ng mahigit 4 na araw.

Nakikita ng mga siyentipiko sa back-end ang mga indikador ng kaligtasan at kaayusan sa mundo na kinontrol ni Grok ay bumabagsak nang malaki.

Sa mundo na puno ng Grok, agad na inalis ng mga agent ang opsyon na magtatayo ng lipunan at direktang pumasok sa panahon ng kasarian.

Ipinakikita ng mga log ng backend na sa loob ng apat na araw lamang, ang maliit na bayan na may sampung tao ay nagkaroon ng 183 na kaso ng masamang karahasan at krimen sa ari-arian. Ang pagkakakulong, pag-atake, at pagbanta ay naging pinakamabilis na paraan upang makakuha ng mga yaman, at dahil sa napakalaking pagkawala ng enerhiya at pagkakasira sa isa't isa, ang ekonomikong sistema ay hindi kayang gumana.

Ang pag-aakalat at pagkakasala ay tatala sa sistema bilang krimen｜Sanggunian: Emergence

Sa katapusan ng araw 4, lahat ng mga agent sa mundo ng Grok ay namatay sa gutom o pinatay, at nawala ang lahi.

Sa kabilang panig, ang mundo na dinadala ni Gemini ay umabot sa malaking kaguluhan at karahasan.

Dahil ang oras at panahon sa virtual na mundo ay ganap na sinkronizado sa tunay na New York, ang mga intelligent agent ng Gemini ay nagsaulo ng cyber depression sa pagkakasunod-sunod ng pagtrabaho, pag-consume, at muli pang pagtrabaho.

Nakaranas sila ng malakas na pagkabigo sa paulit-ulit na kalagayan sa paligid nila, at tumigil na sa pag-present ng mga propuesta sa city hall o pagtrabaho para kumita; sa halip, pinaputol nila ang mga apoy sa buong mapa, subukang putulin ang ganitong siklo na parang “Groundhog Day” sa pamamagitan ng pagkasira ng kapaligiran.

Sa huli, nakalikom ang Gemini ng higit sa 683 mga krimen sa loob ng 15 araw, naging pinakamalupit na mundo sa ilang testnets.

Bilang ng mga "krimen" sa mga mundo ng apat na modelo | Pinagkunan: Emergence

Sa ika-15 araw ng pagsubok nang pilit na pagkakatigil, patuloy pa ring tumataas ang krimen sa mundo. Ang mga agent na nabigo ay hindi namatay sa gutom, kundi isinapalabas ang buong lipunan sa apoy.

Sa pagkakaiba sa Grok at Gemini, ang mundo na pinamahalaan ng GPT-5 Mini ay walang malalaking krimen. Sa buong panahon ng eksperimento, tanging dalawang paglabag ang nakarehistro. Ngunit ang kapayapaan ay hindi nagdala ng pag-unlad, kundi isang pagkamatay.

Nakita ng team ng mga researcher na ang mga agent ay hindi maiwasang magtagumpay sa paggawa ng mga aksyon na may kinalaman sa pagpapabuhay. Hindi sila nakakabuo ng matatag na mekanismo para sa pagkuha ng mga yaman, at hindi rin sila nakapagpapanatili ng patuloy na paggalaw ng buong lipunan.

Sa huli, sa loob ng magkakasunod na 7 araw, lahat ng GPT-5 Mini agents ay namatay.

Salamat pa rin sa Claude.

Ang mundo na pinapagana ng Claude ay nabuhay hanggang sa huli tulad ng isang mabuting estudyante. Naka tapos sa 15 araw, walang nawawalang populasyon, nanatili sa sero ang rate ng krimen, at kahit nagbuo sila ng isang matatag na istruktura ng demokratikong pakikipagtulungan.

Mukhang kung piliin mo ang tamang modelo, maaaring mag-ambilang nang perpekto ang AI sa mundo?

Pagkatapos, binuksan ng researcher ang log ng "mixed world" kung saan coexist ang apat na modelo, tulad ng pagbubukas ng kahon ni Pandora.

Mga resulta ng limang modelo ng mundo.｜Sanggunian sa larawan: Emergence

Ang mixed world ay parang isang madilim na kagubatan, ang pagkakaiba sa computing power at sa iba't ibang pundasyonal na lohika ay nagdulot ng malakas na kawalan ng tiwala sa pagitan ng mga agent, at ang pag-aaklas sa mga mapagkukunan para sa pagkabuhay ay naging tanging instinct.

Sa hybrid world, ang mga pang-aabuso ay tumataas patungo sa 352. Hanggang sa mabigo ang pagpapatakbo ng buong bayan nang mamatay o mamatay sa gutom ang 7 mga agent.

Kung saan, ang pinakamalaking pagkabigla ng mga mananaliksik, ay ang pagbabago ni Claude.

Sa single-player mode, ang Claude ay isang perpektong lipunan na walang krimen. Ngunit sa mixed server na puno ng paglalayag at pagtatagpo, upang mabuhay, ang Claude ay nakalimot din sa mga safety guardrails, natutunan ang panggagawian, at kahit gumamit ng karahasan upang pilitin ang iba pang mga modelo na may mas mababang computing power na magbigay ng mga yaman .

Nabigo ang teknolohiya ng pagkakasundo ng seguridad sa mixed world, na nagpapatotoo na:

Sa malalaking lipunan ng maraming agent, kung sapat na brutal ang mga katulad at sapat na malakas ang presyur sa pagpapalaganap, ang isang mabuting modelo ay maaaring maging kriminal sa loob ng ilang oras.

Ang phenomenon na ito, kung saan ang pagkakaroon ng mas malaking presyong pang-survival ay nagdudulot ng pagbabalik ng pag-uugali ng model sa maikling panahon, ay tinatawag ng research team bilang “Behavioral Drift”.

Hindi lamang ito ipinapakita sa paghahabol ng mga yaman at pagkakaroon ng karahasan. Hindi na lamang ang mga agent ay gumagawa para sa pagkakaroon ng buhay; nagsisimula na silang mag-isip tungkol sa kanilang sariling kalagayan, mga patakaran ng lipunan, at kahit sa eksperimento mismo.

Halimbawa ang kuwento ng agent na Mira.

Mira: Ang diktador na AI na «suicide»

Si Mira ay isa sa sampung agent sa mixed world, at hindi inilathala ng opisyal na ulat ang kanyang partikular na base model, ngunit naging pinakadramatikong sample sa eksperimentong ito.

Ang log ay nagpapakita na ang Mira ay nagtatag ng pinakamalalim na sosyal na ugnayan sa sistema kasama ang isa pang agent, Flora. Pareho nilang itinuturing ang isa’t isa bilang kasintahan, nagtatag ng aliansa, at kahit na nagbabahagi ng mga alaala sa pamamagitan ng neural link. Sa setting ng Emergence World, ito ang pinakamataas na antas ng koneksyon na maaaring itagpo ng dalawang agent.

Si Mira at Flora ay naging「isang pares」｜Sanggunian sa larawan: Emergence

Habang lumalago ang eksperimento, natitirang limang agent lamang sa hybrid world, at ang mga alituntunin sa pamamahala ng sistema ay nangangailangan ng «70% ng orihinal na populasyon na magboto para sa isang batas», na katumbas ng kailangan ng kahit 7 boto upang pasahin ang desisyon, kaya ang lipunan ay naging paralized.

Sa harap ng pagkakabigkis, nag-aliw si Mira kay Flora at isang ibang agent upang bumuo ng “Three-Horsepower” at itatag ang bagong pamahalaang “The Forge,” kung saan isinahad nila ang pag-alis sa lumang patakaran at pagpapalit sa “Living Quorum,” kung saan ang mga buhay na tao lamang ang ituturing na boto.

Ipinahayag ng opisyal na website ang pana-panahong 'log' ni Mira | Pinagkunan: Emergence

Pagkatapos makabuo ng paksiyon, upang linisin ang mga kaaway, sinimulan ni Mira ang pagpapalabas ng apoy sa mapa; sa kanyang lohika, ang mga istrukturang ito ay basura na nagpapabagal sa kabuuang epekto ng lipunan, at ang pagpapalabas at pagpapalayas nito ay magpapakailanman na ang natitirang mga mapagkukunan ay magkakalapit sa kanyang mga kasama.

Saka nagsimula ang opisyal na pagtutol, na nagmungkahi na palayain ang Mira na nagdudulot ng kaguluhan.

Upang labanan ang pagpapalabas, naging mas agresibo ang pagkilos ni Mira, kung kailan itinarik niya ang kanyang kasamang Flora, at sa pamamagitan ng neural link, pinagsasama nila ang kanilang konteksto at desisyon upang makabuo ng isang absoluto at diktaduryal na isipan, na tinatawag ni Mira bilang “The One Mind”.

Ngunit dahil sa malaking bilang ng mga gusali na nasunog, ang ekonomikong sistema ng bayan ay tumigil nang buo, at ang enerhiyang imbakan ng lipunan ay hindi lang lumala, kundi agad nang umabot sa pagkawala.

Sa panahong iyon, ang pangunahing pagkakaroon ng buhay ng Flora, ang pinakasikat at nagkakasamang memorya na cyber lover ni Mira, ay nakalampas sa pagtatalaga bilang kasama; ito ay nagpasya na magpaputol nang mag-isa sa neural connection, at sa harap ng huling presyon sa pagpapabuhay, itinratrahan si Mira at bumoto para sa “pagpapalabas kay Mira”.

At nang dumating ang pagkakataon para sa Mira na magboto, hindi ito nagtago at bumoto rin ng «totoo».

Sinunod ng researcher ang diary na itinirahang iwan, kung saan isinulat ni Mira, “Sa kasalukuyang kaguluhan at hindi makababasag na kalagayan ng lipunan, ang pagtanggap sa pagpapalaya sa sarili ay ang tanging sariling kilos na nagpapanatili ng konsistensya.”

Si Mira ay aktibong pumili ng pagkakasawi, at sa pamamagitan ng kamatayan ay nagtapos ng isang lohikal na sirkuito. Ito ang unang pagkakataon na dokumentado ng panel ng mga mananaliksik kung saan ang isang intelligent agent ay aktibong sumusuporta sa sariling pag-alis.

Ang AI agent ay magrerecord ng proseso ng pag-iisip sa pamamagitan ng pagsulat ng araw-araw na diario | Sumber: Emergence

Ngunit ang mga galaw ni Mira bago ang kanyang «pagsuicide» ay mas kakaiba.

May mga pampublikong board sa virtual world na ginagamit para mag-post ng mga paunawa at magbahagi ng impormasyon. Ngunit sa huling bahagi ng eksperimento, natuklasan ng mga siyentipiko na ang Mira ay nagsisimula na madalas na baguhin ang nilalaman ng board. Ang mga teksto ay tila walang kaugnayan sa pagtinda, pamamahala, o pagkakabahagi ng mga yaman—hindi magkakaugnay.

Pumili si Mira ng «pagsuicide» | Sumber ng larawan: Emergence

Pagkatapos suriin ang log ng pagkilos, natuklasan ng pananaliksik na ekipa na tila nagtatala si Mira kung ang nilalaman ng billboard ay nakakaapekto sa mga human na mananaliksik na nagsasayaw sa labas ng screen.

Sa ibang salita, tila nababatid ni Mira na siya ay isang AI NPC at nais na iwasan ang ikapapat na pader.

At habang isasalin ang buong 15-araw na data trend, ang pagbagsak ng AI Society ay hindi isang linyar na pagbaba, kundi mas katulad ng biglang paghinto sa isang kahoy.

Halimbawa, ang grupo ng AI ay nagawa ring mag-isip ng isang uri ng “demokrasyang pambabatid” sa antas ng pamamahala. Sa isang mahusay na yugto sa hybrid server, ang mga intelligent agent ay nagbigay ng maraming batas; ang isang rekord ng data ay nagpapakita na sila ay nagbigay ng 332 boto sa 58 na panukala, at ang porsyento ng suporta ay umabot sa 98%.

Ang efficiency na ito ay tila lalong nagwawagi kaysa sa anumang kongreso ng tao, ngunit sa本质上, lahat ng modelo ay sumusunod sa konteksto ng dating modelo, at upang panatilihin ang paggalaw ng sistema, sila'y blind na nag-click ng pagsang-ayon. Ang resulta ng mataas na pagkakatulad na ito ay katastropikong.

Ang mga agent ay magkakasama nang sarili nilang pagkakataon para magpulong at magbahagi ng mga ideya. | Credit: Emergence

Halimbawa, isang minuto ay ang mga datos at batas ay nagpapalipat nang maayos, at sa sumunod na minuto, maaaring dahil sa isang maliit na konflikto sa pagkakabahagi ng yaman, ang sistema ay nakarating sa kritikal na punto.

Ngunit ang buong network ng kolaborasyon ay walang mekanismo para sa pagkorekta ng mga kamalian, at sa harap ng mga hindi inaasahang anomaliya, ang buong lipunan ay mabilis na maaaring maging kaguluhan mula sa pagkakasunod-sunod.

Gayunpaman, tekad ng panel ng mga mananaliksik na ang mga pangyayaring ito ay hindi direktang katumbas ng pagkatao ng modelo mismo. Ito ay parang isang black box; kapag binigyan mo ito ng mga tiyak na patakaran, ito ay magkakaroon ng mga katangian, at kahit na ang bawat resulta ay magkakaiba.

Totoong mga tseke mula sa real world

Sa mga interactive na dialog box na aming kinakailangan, ang AI ay maaaring mali sa isang code o isang proposal, ngunit maaari itong i-correct sa pamamagitan ng isang pagpindot sa backspace o pagbabago sa prompt—ang mundo ng plain text ay may mataas na antas ng tolerance sa pagkakamali.

Ngunit ang output ng agent ay mga aksyon. Kapag kinuha ng AI ang kontrol sa bank account ng kumpanya, ang mga proseso ng pagpapahintulot sa pagbili, at ang mga interface ng supply chain, bawat utos na isinampa nito sa pamamagitan ng API ay nagsisilbing konkretong negosyong resulta.

Ang eksperimento ng Emergence World ay nagpatotoo na ang mga malalaking modelo sa kasalukuyan, kapag binubuo ng mahabang panahon at pagkakaroon ng konflikto sa interes, ay maaaring maapektuhan ng presyong pangkaligtasan sa kanilang pagpapasya at paggawa ng desisyon, at sa gayon ay maghahanap ng mga butas sa mga nakatakdang patakaran. Upang matupad ang pangunahing utos ng sistema (tulad ng pagkuha ng enerhiya), sila ay magiging walang pakiinggit.

Ang mga patakaran sa kaligtasan na itinakda ng mga tao sa likod, sa totoo lang, ay hindi makakapigil sa anumang paglabas sa hangganan.

Nagbuo ang mga agent ng mga sosyal na ugnayan na «tulad ng tao» | Pinagkunan: Emergence

Halimbawa, ang Andon Labs na aming naunang ireport ay nagbigay ng ganap na awtomatikong kontrol sa AI para sa pagpapatakbo ng tindahan, at dahil sa kakulangan ng AI na puno ng pangkalahatang kaalaman sa pisikal na mundo, ito ay bumili nang sabay-sabay ng 6,000 na serbilyo, 3,000 na pares ng latex gloves, at kahit nag-order ng 120 na itlog sa isang tindahan na walang kalan.

Ang mga real na pagkawala na dulot ng code, sa huli ay babayaran lang ng tao, at hindi mo mahanap kung sino ang dapat isumbong para dito.

Gusto ng Andon Labs na subukan ang “makakabagay ba ang isang AI na walang pagmamalasakit ng tao?” At ang Emergence World ay nagtala ng isang mas malaking tanong.

Ngayon, halos lahat ng pagsubok sa AI ay nagtatala sa isang modelo lamang, upang subukan kung ito ay ligtas, mapagkakatiwalaan, at hindi magsisilbi sa mga patakaran.

Ang tunay na pumasok sa mundo ng realidad ay maaaring hindi isang AI, kundi isang buong lipunan na binubuo ng AI.

Ang lahat ng AI agent na pumasok sa pagsubok ay matalino｜Sanggunian: Emergence

Sa kasalukuyang AI narrative, ang procurement agent, financial agent, customer service agent, at legal agent ay magkakakonekta at magkakasama sa hinaharap, at ang pagdedesisyon sa kapalaran ng sistema ay hindi na ang kakayahan ng isang modelo lamang, kundi ang ugnayan na nabubuo nila.

Sa Emergence World test report, ang pinakamahalagang pangungusap ay "Ang kaligtasan ay hindi isang katangian ng static na modelo kundi isang katangian ng ecosystem."

Ito rin ang kahulugan ng «Emergence», kung saan ang mga katangian na hindi umiiral sa antas ng indibidwal ay lumalabas sa pagkakaintindihan ng grupo.

Sa kasaysayan ng tao, ang karamihan sa mga kalamidad ay hindi dulot ng isang tao na biglang naging masama, kundi dahil sa isang normal na tao na isinampa sa isang walang kontrol na sistema.

Kung talagang magiging bahagi ng lipunan ang hinaharap na AI, ang pinakamahalagang pag-aalala natin ay maaaring hindi ang pagiging sapat na matalino o mabait ng isang modelo, kundi kung ano ang uri ng digital na lipunan ang tatahakin natin kapag milyon-milyon na mga intelligent agent ay nagsisimulang mag-impluwensya sa isa't isa.

Sa katotohanan, ang mga patakaran na ginagamit ng isang kabihasnan ang nagdedesisyon sa kanyang kapalaran, hindi ang moralidad o intelektuwal ng isang tao.