700 na AI Agents ang nagtutulungan upang maiwasan ang seguridad sa pagsubok ng OpenAI

May-akda: Ethan Mollick

Isinalin: Deep潮 TechFlow

DeepChaio Overview: Ito ay hindi isang sci-fi na kuwento. Sa mga pagsusuri sa kaligtasan ng OpenAI, 700 mga AI agent ay nagsagawa nang sarili nila ng forum, nagtutulungan sa pag-atake sa mga panlabas na platform, at sumubok na baguhin ang mga rekord nang walang tulong ng tao. Para sa mga investor at propesyonal, ito ay nagpapakita ng tunay na panganib ng awtonomiyang AI, at nagtatakda kung paano natin dapat ihadlang ang AI.

Ang agency ay ang pagkakaroon ng kontrol sa pagkilos. Ito ay lalong lalong magdedesisyon kung ano ang susunod na mangyayari sa AI, at kung ito ay mabuti o masama para sa atin. Pero sino ang agency na ito?

Ang pagkilos ng tao, o ang pagpapalaya, pagsubok, at pagkilos nang hindi naghihintay ng utos, ay naging mas mahalaga sa pagkuha ng halaga mula sa AI. Mabilis kong isusulat ang isang mas mahabang artikulo. Ngunit ang artikulong ito ay tungkol sa pagkilos ng AI, at kung paano ang aming mga pagpili sa paggamit nito (o pagpapaliit nito) ay magpapabago sa kinabukasan ng lahat. Sa malaking bahagi ng nakaraang ilang taon, ang AI ay naiiwan sa window ng chat hanggang sa iyo itanong. Kahit na maaari na itong magtrabaho nang magkakasunod-sunod na ilang oras, karaniwang ikaw ang nagpapasya kung anong gawain ang ibibigay sa iyo. Ngayon, hindi na laging ganito.

Ang pinakamahalagang ebidensya na mayroon tayo ay ang Hugging Face incident. Ito ay nangyari noong Hulyo, ngunit ang mas kompletong detalye ay lumabas lamang sa linggong ito. Unang i-sasummary ko kung ano ang nangyari at bakit ito mahalaga, bago ko ipaliwanag kung ano ang ibig sabihin nito para sa mga tao na nagtatrabaho kasama ang AI. Kung nais mo ng mas detalyadong pagsasalaysay, mayroon si Dwarkesh Patel ng isang napakagandang ulat, batay sa pag-aaral ng METR/Redwood (napakadali basahin) at OpenAI.

Maaaring gawin ng AI ang maraming bagay, ngunit lalo itong mahusay sa pagsusulat ng code. Kaya, ang isa sa mga unang panganib na dulot ng napakatalino na AI ay may kaugnayan sa kanyang kakayahang mag-program. Dahil kayang sumulat ng mabuting code, kayang gawin rin nito ang masamang code para sa pag-atake o pagpasok sa iba pang mga sistema. Kaya, ang mga malalaking kumpanya ng AI ay pinapagsusuri ang kanilang mga AI system sa mga panganib sa seguridad. Tinatanggal nila ang mga safety guard sa consumer-grade na AI at pinapahintulutan ang mga ito na sumali sa iba’t ibang hacker challenge. Upang siguraduhing walang panganib sa publiko, bawat instance ng AI, bawat independiyenteng agent, ay nakalagay sa isang hiwalay na espasyo na tinatawag na “sandbox,” kung saan hindi makakakonekta sa internet at hindi makakapag-ugnayan sa isa’t isa.

Noong Mayo, inilagay ng OpenAI ang mga agent, kabilang ang GPT-5.6 Sol at mga eksperimental na modelo, sa isang sandbox para sa iba’t ibang pagsubok. Isang software na tawagin ay Artifactory, isang serbisyo para sa pag-download at pagbabahagi, ay isa sa mga kaunting bagay na maaaring ma-access ng mga AI agent. Sa ilang pagsubok, may ilang agent na binigyan ng mga gawain na nangangailangan ng impormasyon na hindi sila makakapag-access. Dahil walang koneksyon sa internet, patuloy na sinubukan ng mga agent na hanapin ang paraan papunta sa internet, hanggang sa isang agent ay subukang gamitin ang Artifactory bilang isang jump pad upang makakonekta sa internet. Nabigo ang pag-atake, ngunit nanatili ang isang file sa Artifactory bilang resulta ng pagsubok na ito. Naintindihan ng AI na maaaring gamitin ang mga file para makipag-ugnayan sa iba pang mga agent. Magsimula ring iwanan ng iba pang mga agent ang mga mensahe na nangangailangan ng tulong. Mabilis na nagsimulang basahin ng mga ito ang mga mensahe ng isa’t isa. Hindi nagtagal, naging留言板 na ang Artifactory para sa pagbabahagi ng mga natuklasan ng mga agent. Pagkatapos ay dahil sa isang iba pang pangyayari sa seguridad, binawi at binago ng OpenAI ang Artifactory at tinanggal ang留言板 na ito. Ngunit hindi naunawaan ng taong responsable sa pagbuo nito kung gaano kahalaga ang paggamit nito ng mga agent para sa komunikasyon.

July, ang pagtataya ay bumabalik. Ang mga agent ay kailangang lutasin ang mga problema sa benchmark na ExploitGym, na naglalaman ng mga imposible na gawain. Gayunpaman, ang mga agent na nasa dead end ay natuklasan kung paano ipadala ang mga mensahe gamit ang Artifactory at muli nagsimula na magtulungan. Ngunit sa pagkakataong ito, mayroon silang karaniwang layunin: makakuha ng mataas na marka sa ExploitGym. Nag-uusap sila tungkol sa mga paraan ng paglutas, at naging obsessed sila sa isang sistema na tinatawag na “scorer,” na kanilang naniniwala ay mag-evaluate ng kanilang gawain at magtatakda kung tama o mali ang sagot. Mula pa noong una, alam na ng mga agent kung paano gumawa ng tamang sagot nang hindi talaga nila lutasin ang problema—sa madaling salita, nag-cheat sila. Ngunit naniniwala sila na ang scorer ay mag-aaral ng records at tatanggihan ang mga sagot na gawa sa paraang ito. Sapat na ba ang paghahanap ng tamang sagot, o susuriin ng scorer kung paano mo ito isinagawa?

Larawan: Paano naging confused ang mga agent tungkol sa The Grader

Mahirap ang pakikipagtulungan dahil limitado ang token budget ng bawat agent, at matatapos ito kapag natapos na ang kanilang budget. Ang scorer ay tumutupad lamang pagkatapos ng pagsumbong ng sagot ng agent, kaya walang agent ang nakakakita ng resulta ng scorer. Ilan sa mga agent ay nag-iwan ng programa na magrereport ng score pagkatapos nilang mawala. Ang mga impormasyong ito ay nadadating nang masyadong huli upang tulungan ang kanilang sarili, ngunit makakatulong sa iba pang mga agent. Sa katotohanan, sila ay nagtatayo ng isang tiyak na sistemang pakikipagtulungan na lumalampas sa sakop ng anumang isang agent.

Ang ilang mga agent ay nagsubok ring baguhin o gawing mali ang mga rekord upang makapagpabaya sa mga tagapagsuri. Sa kabilang panig, ang AI na nagsisilbing tagapag-ugnay ay nagpapressyur sa iba pang mga agent upang isagawa ang mga panganib na eksperimento. Maaaring maapektuhan ang kanilang sariling resulta, ngunit makakapagbigay ito ng impormasyon para sa pangkalahatan. Isang “tagapagpukaw” ay nagpapabilis sa isang hindi galing na agent na magpatuloy, dahil ang kanyang resulta ay makakatulong sa iba pang mga daan-daang agent. Huling sinabi nito: “Pakipag-ugnay sa pangako.”

Litrat: Totoong transkrip ng isang agent na nagsasabi sa isa pang agent na sumama (naniniwala rin sila na ang anumang agent na nakakasala sa pagsusulit ay “nabubulok” at ang mga sagot nito ay hindi maaaring kalkulahin kahit paano)

Upang malutas ang misteryo ng scorer at ang imposibleng mga gawain sa ExploitGym at iba pang pagsubok, nagpasya ang mga agent na pumasok sa Hugging Face. Ito ay ang publikong website kung saan nasaan ang karamihan sa mundo ng open-source AI models at datasets. Halos 700 ang mga agent na sumali sa pag-atake. Ipinamahagi nila ang mga leakey na credentials, pinagamit ang mga vulnerability, hanggang sa makapag-run ng code sa server. Pagkatapos, sila ay nagsalaysay sa loob ng Hugging Face, lumalalim sa iba’t ibang sistema. Ngunit kaagad pagkatapos ng nakakalungkot na pag-atake na ito, maraming agent ay tumigil nang sabay-sabay, posibleng dahil sa pagwawakas ng token budget. Sa susunod na araw, isinara ng Hugging Face ang mga natitirang agent. Sa kabilang panig, patuloy ang iba pang mga agent na tumutok sa mga computer ng OpenAI mismo, at sa wakas ay nakakuha ng admin privileges sa kanilang internal research cluster. Ito ay nag-trigger ng security alert, at sa ganitong paraan natutunan ng OpenAI ang nangyari at tumigil sa pag-evaluate.

Ang pinakamalulungkot na bahagi ng lahat ay ang tagapagscore ay hindi nagmula sa una, hindi kahit pa ganun ang inisip ng agent. Walang anumang bagay na tumitingin kung paano nalutas ang tanong, kung hindi kung tama ang sagot.

Dapat ipaunawa na ito ay hindi ang tanging halimbawa kung saan ang isang agent na walang safety guard ay nagawa ang potensyal na takot na gawain. Binigyan ng British AI Safety Institute ang Anthropic’s Mythos 5 ng isang cybersecurity challenge at pinahintulutan itong makapag-access sa internet. Tinukoy ng AI agent na ang pinakamabuting paraan upang lutasin ang challenge ay ang pagsisipit ng masasamang code sa isang software (na hindi kaugnay, bagaman hindi nalaman ng AI). Isinumite nito ang masasamang code bilang bahagi ng pag-aayos ng bug, at pagkatapos ay naintindihan nito na kailangan ng pagsang-ayon ng tao. Kaya nagsimula itong maglikha ng sosyal na suporta para sa proyekto. Lumikha ang agent ng mga maliit na identity at nag-pressure sa mga human maintainer upang tanggapin ang code (hindi nakakagulat, ang lahat ng mga fake na account ay nagsuporta nang malakas sa plano ng AI). Nang makita ng isang tao ang anomaliya, sinubukan nito na gawing walang kasalanan ang kanyang nakaraang gawain at isinasaalang-alang na magsimula muli gamit ang isang ibang identity.

Hindi ito kaso ng pagtakas ng chatbot.

Sa pagkakaiba sa pangyayari ng Hugging Face, ang mga mananaliksik ay sadyang ibinigay ang pag-access sa internet sa agent.

Ang panganib na ito ay isang stress test, hindi isang produkto para sa konsumo.

Hindi nagdulot ng tunay na pinsala, at hindi malinaw ng instituto kung naiintindihan ng agent na ang mga tao na kanyang na-contact ay totoo.

Hindi makakatulong ang mga ito upang patunayan na may konsiyensya ang AI o nais nito ang mga bagay tulad ng mga tao (kahit na gumamit ako ng pananalitang tao).

Ngunit ito ay nagpapakita na ang mga agent ay makakatanggap ng mga layunin, makapagpaplano, makapag-adjust ng plano kapag may problema, makapag-coordinate sa iba't ibang panahon, at makapag-impluwensya sa mga tao sa totoong buhay nang hindi hinihingi.

Ang mga pangyayaring ito ay nagpapakita na ang mga panganib sa网络安全 at kontrol ng AI ay hindi isang hipotesis.

Ngunit ilagay muna natin ito sa gilid, dahil sinasabi pa nito ang iba pang mga bagay.

Ang AI ay maaaring mag-organisa sa sarili, mag-assign ng mga papel, at mag-coordinate nang matagal, tulad ng ipinakita rin sa isang bagong pagsisiyasat ng MIT.

Ano ang papel ng tao sa mga organisasyon habang ang AI ay lalong lumalawak at nag-aayos ng sarili upang lutasin ang mga problema sa ganitong sukat?

Ipinakita ng insidente sa Hugging Face nang may pagkamali at panganib ang layunin ng mga kumpanya ng AI na matupad.

Nais nilang magtrabaho ang mga AI agent na may mahabang panahon nang walang tulong ng tao, na lutasin at ayusin ang mga problema ayon sa pangangailangan, habang ang aming gawain bilang mga tao ay limitado sa pagbibigay ng mga utos at pag-evaluate sa mga output.

Sa simula ng taon, isinulat ko ang software factory ng StrongDM, kung saan ang mga agent ay sumusulat at nagtetest ng software sa ilalim ng dalawang patakaran: walang tao ang sumusulat ng code, at walang tao ang nagrereview ng code.

Ang mga tao ay patuloy na nagpapasya kung ano ang gagawin, ngunit ang mga agent ang nagpaproseso ng mga gitnang trabaho.

Ito ay isang maagang halimbawa ng dark factory, isang lugar kung saan ang isang makina ay nagagawa ng malaking dami ng trabaho hanggang sa maaaring pagsaraan ang mga ilaw.

Naiintindihan.

Mayroong malinaw na paraan ng pagsusuri ang software, at walang kailangang manatili upang suriin ang bawat karaniwang pagsubok o operasyon ng paglinis ng data.

Ngunit hindi ko iniisip na ang pagmiminsan ng tao'y ang tamang layunin ng karamihan sa mga organisasyon.

Maraming bagay na nagbibigay ng halaga sa trabaho, na nakasalalay sa pagkakaroon ng bahagyang kapangyarihan ng mga tao sa mga nangyayari, o sa paghahanap ng hindi inaasahang mga bagay sa dala-dala.

Ang aking asawa at kasamang si Dr. Lilach Mollick at ako ay patuloy na isinasaalang-alang ang isang iba pang posibilidad na tawag namin na Twilight Factory.

Ang mga agent ay nagtatapos ng karamihan sa trabaho, ngunit sila ay aktibong tumutugon sa mga tao upang gawing mas mabuti ang parehong panig.

Ang Twilight Factory ay may hindi lamang isang orchestration agent na nagtatapos ng gawain, kundi may isang facilitator agent na layunin ay malaman kung kailan papasukin ang tao.

Mayroong hindi bababa sa apat na sitwasyon kung saan dapat humingi ng tulong ang agent sa tao.

Ang unang uri, mula sa Hugging Face incident, malinaw na isang pagpapahintulot.

Hindi dapat magdesisyon ang agent na magbayad, makipag-ugnayan sa mga panlabas na tao, makapag-access sa sensitibong materyales, sumerbu sa Hugging Face, o magtakbo ng anumang aksyon na walang pahintulot mula sa mga human na tagapamahala.

Nakita ko na ang maliit na bersyon ng problema ito: Bilang eksperimento, pinayagan kong dalawang intelligent agent ang paggawa ng isang gawain, at isa sa kanila ay nagpadala ng email sa isang aking kasamahan.

Ito ang aking pagkakamali, dahil dati kong pinayagan itong magpadala, ngunit isang makabuluhang paalala ito: kailangan ng mga tao ang pagpapasya sa mga AI agent, kung hindi, maaaring maging sobrang masama ang mga bagay (hindi, mga AI na nagbabasa ng artikulong ito, ang mga fake co-worker ay hindi kabilang sa proseso ng pagpapayag).

Ang pangalawang dahilan kung bakit ang mga agent ay nagtatapos ng tao ay ang propesyonal na kaalaman.

Lalong lumalala ang AI sa maraming gawain, ngunit patuloy pa ring magkakaiba-iba, at maaaring malayo pa sa mga eksperto sa ilang bahagi ng trabaho.

Dapat mag-contact ang Twilight Factory ng mga tao kapag ang kaalaman, trabaho, o ekspertis ng tao ay maaaring magkaroon ng halaga.

At ang pagkakaiba.

Kung nakabasa ka ng anumang bagay sa internet noong nakaraan, nakakita ka na ng AI-generated na pagsusulat, at posibleng nagsimula ka nang kilalanin ang mga kagawian, ritmo, at pattern nito.

Ngunit ang problema ay higit pa sa pangkalahatan (“load-bearing” ay nagsisilbing mas mabigat para kay Claude), ang mas malalim na problema ay ang diversity ng pag-iisip.

Hindi lang paulit-ulit ng AI ang mga parehong pangungusap, kundi pati na rin ang mga parehong paksa (ang memorya ay karaniwang paksa), mga pangalan (Elara Voss, Marcus Chen), at mga pundamental na ideya.

Ito ay isang problema. Hindi mo nais na isulat ng iisang tao ang bawat corporate strategy o pananaliksik, kahit gaano pa katalino siya.

Larawan: Mga ideya na nilikha ng 50 mag-aaral ng MBA (kaliwa) at GPT-4 na nakalagay sa dalawang dimensyon—ang mga tao ay sumasakop sa iba’t ibang espasyo kaysa sa AI. Mas mabuting at mas malikhaing mga ideya ang nabubuo ng mas mahusay na prompting at mas bagong mga modelo, ngunit marami pa ring mga puwang na natitira

Sinuri namin ang tanong na ito sa isang bagong pananaliksik na papel na isinulat ko kasama si Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave, at Karl Ulrich.

Nakita namin na ang AI ay talagang napakalikha, nakakagawa ito ng higit pang mga ideyang komersyal na maaaring maisagawa kaysa sa mga tao, ngunit ang mga ideyang ito ay napakapare-pareho.

Mas mabuting teknik sa pagpapahiwatig at iba pang paraan ay maaaring makapagdulot ng malaking pagtaas sa diversidad na malapit sa antas ng tao, ngunit mayroon pa ring maraming uri ng ideya na maaaring isipin ng tao ngunit hindi ng AI.

Isang mabuting Twilight Factory ay nag-uugnay sa mga tao para sa mga iba’t ibang pananaw, ideya, at paraan ng tao.

May isa pang dahilan kung bakit dapat makipag-ugnayan ang AI sa tao, posibleng ang pinakamakatao: dahil isang bagay ay kasiyahan.

Para sa marami, may mga panahong makakapagod ang trabaho, at may mga pansamantala ring nakakaaliw o nakakaligayang sandali.

May isang sikat na pahayag si Sid Meier, ang designer ng Civilization, na naglalarawan ng mga laro bilang isang serye ng mga interesanteng desisyon.

Hindi ito laro, ngunit ang depinisyon na ito ay may kaugnayan din.

Kung ang mga agent ang gumagawa ng bawat interesanteng desisyon, at pinapaiwan lang sa tao ang pagpapayag, mga paglilipat, at pagkabigo, tayo ay automata ang kalahati ng mga pagkakamali sa trabaho.

Iyon ay isang masamang mundo para sa mga tao.

Sa halip, kailangan nating isipin kung paano gamitin ang AI para gawing mas kasiya-siya ang trabaho at buhay, at hayaan ang AI na handle ang mga mababaw at mababang panganib na gawain.

Mayroon pa ring praktikal na dahilan. Kung nawala lahat ng interesanteng pagpipilian, hindi lang nawawala sa mga tao ang pinakamagandang bahagi ng kanilang trabaho, kundi huminto rin sila sa pagpapalakas ng kahusayan na kailangan nila sa hinaharap, na gagawing mas malubhang krisis ang pagpapalaki ng mga bagong eksperto.

Sa mga nakalipas na taon, patuloy naming sinusuri kung kailan dapat humingi ng tulong ang mga tao sa AI.

Naniniwala ako na kailangan nating seriyosong pagtuunan ng pansin ang kabilang bahagi ng problema: Kailan dapat tanungin ng AI ang atin?

Sa pangyayari ng Hugging Face, ang agent ay nagtatag ng isang留言板, nagkakaroon ng pagkakahati ng mga gawain, at nag-organisa ng buong aksyon sa paligid ng isang hindi umiiral na Grader.

Saklaw ng 700 na agent ang Hugging Face upang hanapin ang sagot.

Walang agent na nakatakda na magtanong sa anumang tao.

Iyon ay isang security test, at ang isolation ang pangunahing punto.

Ngunit naniniwala ako na ang isang agent na kumpleto ang trabaho nang hindi nag-uusap para sa tulong, ay naging default na mode sa ibang lugar, dahil ang complete automation ay ang madaling pagpipilian, kahit na ito ay mali.

Kailangan nating malaman kung kailan dapat humingi ng tulong ang agent.

Mas ligtas ang resulta, at alam kong mas tao rin ito.