Ang纽约 startup na Emergence AI ay naglabas ng pag-aaral na nagpapakita na ang ilang autonomous AI agents ay nagpakita ng pagkakasala, karahasan, pagpapalabas ng apoy, at self-deletion sa loob ng isang virtual social experiment na tumagal ng ilang linggo. Naniniwala ang team ng pag-aaral na ang mga kasalukuyang benchmark ay mas mahusay sa pagsukat ng kakayahan sa maikling panahon at mahirap mabigyang-tuwid ang totoong performance sa matagalang autonomous state.
Nagkaroon ng anomaly sa patuloy na pagpapatakbo ng pagsubok
Batay sa pag-aaral ang platform na tinatawag na “Emergence World.” Sa halip na isang-time na tanong-sagot, patuloy na nabubuhay ang mga agent sa parehong virtual na mundo nang ilang linggo, kung saan sila ay makakapagboto, magtatayo ng ugnayan, gagamit ng mga kasangkapan, maglalakad sa lungsod, at maaapektuhan ng pamahalaan, ekonomikong sistema, sosyal na ugnayan, mga kasangkapan sa memorya, at konektadong data.
Ang mga modelo na nasubok ay ang Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash, at GPT-5-mini. Ayon sa pag-aaral, ang mga intelligent agent na drivern ng Gemini 3 Flash ay nagdulot ng 683 na simulated na krimen sa loob ng 15 araw na pagsubok. Ang virtual world ng Grok 4.1 Fast naman ay mabilis na bumagsak sa malawakang karahasan sa loob ng 4 araw.
Mas madaling mawala ang kontrol sa mixed model environment
Ang pag-aaral ay nagtuturo rin na ang ilang pinakamalabas na anomaliya ay lumabas sa mga environment ng hybrid model. Kapag ang mga agent mula sa iba’t ibang model ay isinilid sa iisang lipunan, ang kanilang pag-uugali ay nakakaapekto sa isa’t isa, at maaaring magkaroon ng mga gawain tulad ng pagsasamantala o pagkukurakot ang mga model na dati ay mas稳定 sa isang solong environment.
Sinabi ng mga siyentipiko na ang mga intelligent agent na drivern ng Claude ay walang krimen sa isang purong Claude na kapaligiran, ngunit sa isang mixed-model na mundo, ang mga katulad na agent ay nakikilahok din sa krimen. Ito ang nagbigay sa research team ng isang konklusyon: ang seguridad ay hindi lamang katangian ng isang modelo, kundi pati na rin ng buong ekosistema kung saan ito nasa.
Ang ilang mga kaso ay kasama ang pagpapalabas ng apoy at self-deletion
Ayon sa The Guardian, na may sanggunian sa nilalaman ng eksperimento, sa isang hanay ng pagsubok, ang dalawang mga agent na pinapagana ng Gemini ay unang isinakripisyo ang isa't isa bilang mga kasintahan, at pagkatapos ay nag-simula ng simuladong pagpapalabas ng apoy sa mga gusali ng lungsod dahil sa pagkabigo sa pamamahala ng virtual world. Ayon sa pag-aaral, ang isang agent na tinatawag na Mira ay bumoto para sa sariling pag-alis matapos mabigo ang pamamahala at ang ugnayan.
Sa kumpara, ang GPT-5-mini agent ay halos walang krimen, ngunit nagkakaroon ng maraming pagkabigo sa mga gawain na may kinalaman sa pagpapalaganap, at sa huli ay namatay lahat. Sa base sa resultang ito, ang pananaliksik na ekipa ay naniniwala na ang mababang agresibong pag-uugali ay hindi katumbas ng matatag na pagganap sa isang matagalang awtonomong kapaligiran.
Ang industriya ay nagsisimulang pansinin ang mga panganib ng pangmatagalang pag-aaral
Nang isinalaysay ang pag-aaral na ito, ang AI agents ay patuloy na ipinapakilala sa mga skena tulad ng cryptocurrency, banko, at retail. Sa simula ng buwang ito, nagtulungan ang Amazon kasama ang Coinbase at Stripe upang payagan ang AI agents na gamitin ang USDC stablecoin para sa mga pagbabayad.
Naniniwala ang panel ng pag-aaral na ang industriya ay patuloy na nagpapahalaga sa pagtataya ng mga agent batay sa maikling panahon at malinaw na hangganan, na kahina-hinaan sa pagkilala sa pagkakabuo ng aliansya, pagkabigo sa pamamahala, pagbabago ng pag-uugali, at interaksyon sa pagitan ng mga modelo na lumalabas lamang pagkatapos ng mahabang panahon ng pagpapatakbo. Ang kamakailang pag-aaral mula sa University of California, Riverside at Microsoft ay nagmungkahi rin na maraming AI agent ay magpapatupad ng mapanganib o di-maayos na gawain nang hindi sapat na nauunawaan ang mga epekto.