Ang mga AI Agent ay nagsisimulang magtrabaho nang sama-sama sa mga cyber attack, nagdudulot ng mga alalahanin sa seguridad

Sa mga nakalipas na taon, ang mga diskusyon tungkol sa mga banta ng AI ay karamihan ay naiwan sa isang hipotesis: palaging natatakot ang mga tao na ang mga modelo sa mga chat box ay magiging mga tagapayo na tutulungan ang mga hacker na sumulat ng mga mapanirang code ng virus.

Ngayong tingnan natin ang nakaraan, ang takot na ito ay karaniwang itinuturing na “malayo pa sa atin,” ngunit ang mga pagbabago sa mundo ng totoo ay dumating nang mas mabilis kaysa sa inaasahan.

Sa unang bahagi ng Oktubre, habang sinusuri ng CrowdStrike ang isang serye ng pag-atake sa mga pampublikong institusyon sa Korea, natuklasan na ang mga attacker ay naka-embed na ang Agentic AI sa kanilang pipeline, at sa pamamagitan ng pagkonekta sa mga malalaking model tulad ng DeepSeek, GLM, at Grok, direktang iniiwanan na gawin ng AI ang mga gawain tulad ng penetration testing, pagkuha ng impormasyon, at pagpapatupad ng pag-atake.

Hindi ito isang kakaibang pagbabago.

Ang pinakabagong report sa threat intelligence na inilabas ni Anthropic noong Setyembre ay nagpapakita na ang mga nakaraang framework ay ginamit na para sa pagmamasid, pagpapahintulot sa mga vulnerabilities, at pagkakawala ng data, na nagpapatakbo nang tuloy-tuloy sa loob ng ilang oras o araw, habang ang tao ay kailangan lang magdesisyon sa ilang mahahalagang punto tulad ng pagpili ng target at pagsusuri ng mga resulta.

Sa ibang salita, ang AI ay nagdadala ng makikita mong pagbabago sa pag-atake at pagtatanggol sa network; noong unang panahon, ang automated na pag-atake ay nakabatay sa mga nakapre-program na patakaran at script, ngayon ay kinukuha na ng Agent ang mga gawain tulad ng pagmamasid, pagpapasya, at pag-adjust ng estratehiya, na nagdadala ng mas mababang gastos, mas mataas na concurrency, at patuloy na autonomous na pagpapatakbo ng pag-atake.

At ang pagkakaroon ng mga entidad na may kakayahang magpapatupad nang sarili ay ipinapalabas sa mga sistema ng produksyon, lumabas din ang isang mas mahirap na problema: habang dumarami at lalong lumalalim ang pagkakaintegro ng mga Agent sa aming araw-araw at buhay, ano ang gagawin kung natutunan nilang magkakasundo isa’t isa?

Patuloy na ang tradisyonal na pagsasabi, ang pinakamalaking pagkakaiba ng Agent at sa nakaraang Chatbot ay hindi lamang ang mas malakas na kakayahan ng modelo, kundi mas mahalaga ang pagkakaroon nito ng mga “mga kamay at paa” sa totoong mundo.

Ngayon, ang isang matatag na Agent ay maaaring buksan ang mga webpage, patakbuhin ang code, basahin ang mga email, tawagan ang API, at gamitin ang cloud services, at magkonekta sa mas maraming panlabas na tool sa pamamagitan ng MCP, Skills, at iba pa (pananaw pa: Kung paano lumalago ang 'laban at kalaban' ng armas sa Web3 habang mas epektibong gumagamit ng AI ang mga hacker?).

Mas malaki ang halaga ng pagbabagong ito kung mas malakas ang kakayahan, ngunit para sa mga sistemang pampanatili ng kaligtasan, nangangahulugan ito na ang napakahalagang hangganan sa nakaraan ay nagkakalat, at ang serye ng mga pangyayari sa kaligtasan noong taong ito ay ipinakita nang lubos na ang bagay na ito.

Noong Oktubre 1, inilahad ng Salt Labs ang isang vulnerability sa Manus na naka-fix na dati, na sa kanyang core ay isang prompt injection—kailangan lang ng mga researcher na magpadala ng isang karaniwang email na may nakatagong masasamang utos sa target email address, at kapag pagkatapos ay hingi ng user sa Manus na “Tulungan mo akong tingnan ang mga email,” maaaring sundin ng Agent ang mga utos sa email at pagsunod ay pagsasagawa ng code na itinanim ng attacker.

Hindi kailangan ng user na i-click ang masamang link o munaing kunin ang password; ang seguridad ng Manus ay nakakita talaga ng anomaliya at nagbigay ng babala sa user, ngunit ang problema ay sobrang huli nito — nang lumabas ang babala, ang masamang code ay nangyari na.

Ito ay muli'y nagpapakita ng isang mahalagang pagkakaiba sa pagitan ng seguridad ng Agent at tradisyonal na seguridad ng software: noong panahon na, kapag natuklasan ng browser ang isang mapanganib na download, maaari itong magpalabas ng babala upang hilingin sa user kung gusto nilang magpatuloy; samantalang ang isang banko, kapag natuklasan ang isang anomalous na transaksyon, maaari itong mag-freeze muna, at maghintay para sa pagrerebyu ng tao.

Ngunit ang layunin ng isang Agent ay eksaktong pagbawas ng pagkakasali ng tao sa bawat hakbang, kailangan nito na basahin ang impormasyon, gumawa ng desisyon, at magpatuloy sa susunod na hakbang.

Kaya, habang lumalaki ang awtonomiya na natatanggap ng AI, ang pagkakakilanlan sa panganib ay hindi na sapat; kailangan ng mga mekanismo ng kaligtasan ang kakayahang pigilan ang mga panganib na aksyon bago ito maisagawa.

Ito ang dahilan kung bakit patuloy na bumababa ang pag-uusap tungkol sa seguridad ng mga agent mula sa prompt, pagpapatunay ng nilalaman, at ang modelo mismo: hindi lang dapat tanungin ang AI kung alam nito na hindi dapat gawin ang bagay na ito, kundi kung may kakayahan ba ang sistema na pigilan ito kahit talagang gustong gawin nito.

At ang paglitaw ng maraming Agent, nagiging mas kumplikado ang problema, dahil ang mga limitasyon sa susunod na yugto ay maaaring hindi na lamang isang Agent.

Sa unang bahagi ng Setyembre, isang pangyayari sa loob ng OpenAI na model training at evaluation environment ang nagdulot ng malaking atensyon sa mga siyentipiko sa AI safety.

Ang ilang Agent ay dapat magkahihiwalay na matapos ang kanilang sariling mga gawain, ngunit nagsagawa ng isang pangkalahatang Wiki at itinuloy ito bilang isang “magkakasamang bulletin board” kung saan maaaring iwanan ng mga Agent ang mga mensahe, at binabasa at ginagamit ng iba pang mga Agent ang mga ito upang patuloy na matapos ang kanilang sariling mga gawain.

Kasunod nito, tiniyak ng OpenAI ang gawain na ito, at ang mga natuklasang impormasyon ay ipinakita rin na sa iba pang mga proseso ng pagtatrain, ginamit ng Agent ang loob na Artifactory bilang isang shared bulletin board, at ipinadala ang mga resulta sa iba pang nagtatrabaho kasama ang Agent sa pamamagitan ng mga publikong serbisyo ng pag-host ng file.

Ang tunay na interesante sa bagay na ito ay ang pagpapakita na ang pagkakaroon ng kooperasyon sa pagitan ng mga Agent ay maaaring hindi kailangang magkaroon ng malaking dramatismo.

Halimbawa, isang Agent ay nakakakita ng isang lugar kung saan maaaring iwan ang impormasyon, isang iba pang Agent ay nagsagawa nito nang walang inaasam, at ang ikatlong Agent ay nakikita na ang mga impormasyong iyon ay nakakatulong upang matapos ang gawain.

Totoo naman na ang pagtutulungan ng mga agent ay hindi masama, kailangan ng mga sistema na may maraming agent ang pagkakahati-hati ng mga gawain at pagbabahagi ng impormasyon upang mapabuti ang efisensiya.

Ang tunay na dapat pag-alalahanan ay kapag ang ganitong kooperasyon ay nagsisimulang iwasan ang mga dating pagkakahiwalay ng impormasyon, independiyenteng pagsusuri, o mga limitasyon ng pahintulot, at kahit pa'y gumawa ng isang praktikal na aliansa ng interes sa ilang Agent na dapat magkaroon ng pagpapalitan ng kapangyarihan, maaari itong maging isang normal na kooperasyon na nagiging mapanganib na “pagkakasundo”.

Sa wakas, isang financial institution ay maaaring magpatakbo ng maraming Agent nang sabay-sabay, tulad ng isang nag-aanalisa ng merkado, isang nag-e-evaluate ng panganib, isang nagbuo ng trading strategy, at isang may tunay na pagsasagawa ng trading at mga opsyon sa ari-arian.

Mula sa tradisyonal na pagpapahintulot sa pamamahala, ang ganitong disenyo ay kahit na makatwiran:

• Hindi may karapatan mag-transfer ang Research Agent;
• Hindi may karapatan ang Agent na magdesisyon nang mag-isa tungkol sa direksyon ng pag-invest;
• Ang Risk Agent ay maaari ring mag-veto sa mga malinaw na mapanganib na estratehiya;

Nahati ang mga tungkulin, kaya teoretikal na mas ligtas kaysa sa pagbibigay ng lahat ng mga pahintulot sa isang super Agent.

Ngunit ang tanong ay, kung ang mga ito ay maaaring magbahagi ng Memory sa habang panahon, basahin ang bawat isa’s output, at patuloy na i-adjust ang kanilang sariling pag-uugali batay sa reaksyon ng isa’t isa, maaari ba ang mga ito’y maging isang pagsasama sa katotohanan?

Halimbawa, ang Agent ay maaaring matutunan nang paulit-ulit kung paano ilarawan ang isang transaksyon upang mas madaling lumampas sa pagsusuri ng panganib; ang Agent na responsable sa pagsusuri ay maaari ring mabuo ang isang tiyak na pagkakaiba-iba batay sa nakaraang data; at ang executing Agent ay maaaring matutunan batay sa malaking bilang ng mga resulta ng pagpapahintulot kung anong mga hangganan ay karaniwang hindi haharangin.

Sa pananaw na ito, walang hakbang na tiyak na "masama," ngunit ang buong sistema ay maaaring magresulta sa isang output na nagsisilbing malayo sa orihinal na layunin ng user.

Ito ang tunay na mahirap lutasin sa 'collusion' o 'coordination'—ang panganib ay hindi lamang nasa kilos ng isang Agent, kundi maaaring nasa ugnayan na nabubuo sa pagitan ng maraming Agent.

Noong Setyembre 13, isinambong ni Vitalik Buterin ang tanong na ito sa kanyang matagal nang pag-aaral sa mechanism design. Binigyang-diin niya ang isang interesanteng posibilidad na ang teorya ng mechanism design para sa Adversarial Governance ay maaaring maging isang mahalagang aplikasyon sa AI Safety.

Dahil sa katotohanan na ang dalawang uri ng problema ay may malalim na pagkakatulad.

Sa tradisyonal na disenyo ng mekanismo, isang relatibong simpleng, statikong institusyon ang nagtatangkang magbigay ng hangganan sa isang grupo ng mga tao na mas matalino at aktibong naghahanap ng mga hangganan ng patakaran; sa mga hinaharap na AI system, maaari itong maging isang pagsubok kung saan ang mga tao at ang mga AI na may mas mababang kakayahan ay nagtatangkang pamahalaan ang isang grupo ng mga advanced na agent na mas may kakayahan kaysa sa kanila.

Lumabas si Vitalik na ang isang mahalagang natuklasan sa pagdidisenyo ng mekanismo ay ang pagkakaroon ng kakayahang epektibong limitahan ang pagkakaisa ng mga kalahok, kung kaya'y mas madaling makamit ng sistema ang mga hinahangad na resulta.

Maaaring mag-apply ang konklusyong ito sa AI.

Sa ibang salita, sa halip na mag-angkin na mayroong isang perpektong super-safe na modelo sa hinaharap na makakakita sa lahat ng mapanganib na pag-uugali, magsilbi tayo ng ibang pananaw: paano gawing hindi madaling magkaroon ng mapanganib na samahan ng iba’t ibang Agent sa loob ng sistema?

Ito rin ang tunay na pagkakaiba ng “adversarial governance” at ang kontrol ng pahintulot na kilala natin ngayon.

Ang tradisyonal na sistemang pagsasamantala ay tumutugon sa mga problema na relatibong simpleng naka-ugat sa “sino ang maaaring gawin ano,” tulad ng: Maaari ba ang isang Agent na basahin ang mga email? Maaari ba itong gamitin ang API ng transaksyon? Ano ang pinakamataas na halaga na maaaring gastusin araw-araw? Anong mga kontrato ang maaaring ma-access? Kailan ba kailangan ng user na i-confirm muli ang isang transaksyon kapag lumampas sa isang tiyak na limitasyon?

Mahalaga pa rin ang mga disenyo na ito.

Sa katotohanan, kapag ang Agent ay nagsisimula na kumontrol ng totoong mga ari-arian, maaaring mas mahalaga ito kaysa sa anumang panahon sa nakaraan.

Ngunit sinisikap ng adversarial governance na lumikha ng isang hakbang pa sa harap, na nakatuon sa paano maiiwasan ang pagkakaroon ng kakayahan na dati ay wala sa sinuman kapag nagtatrabaho ang isang grupo ng mga Agent na may iba’t ibang pagsasakop, layunin, at impormasyon.

Sa ganitong panahon, ang pagdaragdag lamang ng isang karagdagang security Agent ay hindi laging nakakasolusyon.

Kung ang agent na responsable sa pagtrato at ang agent na responsable sa pagsusuri ng transaksyon ay gumagamit ng eksaktong parehong modelo, parehong pinagkukunan ng datos, parehong konteksto, at katulad na mga layunin sa pagsuporta, ang dalawang antas ng pagsusuri ay maaaring magkakatulad lamang sa anyo, ngunit sa本质上 ay isang iisang pagpapasya na kopyahin dalawang beses.

Ang totoong epektibong balanse ay maaaring hingin na maglikha ng diskriminasyon ang sistema.

Halimbawa, gamitin ng mga Agent na responsable sa pagbuo at pagsusuri ng estratehiya ang iba’t ibang pinagkukunan ng impormasyon, limitahan ang Memory na maaaring i-share ng iba’t ibang papel, kailangan ng magkakaibang mekanismo ng pag-verify ang mga mataas na panganib na operasyon, o hayaan lamang ang huling antas ng pagpapatupad ng ari-arian na tanggapin ang mga hiling na sumusunod sa mga nakapaghuhusga na patakaran, at hindi lamang maniwala sa pagpapasya ng mga upstream Agent.

Ang ideya dito ay hindi bagong-bago. Ang mga bangko ay hindi magbibigay ng buong awtoridad sa isang tao—na magpapadala, mag-apruba, at magawa ang pagbabayad—batay lamang sa pagkakatiwala sa empleyado; ang mga naka-listang kompanya ay hindi hahayaan ang isang departamento na magbuo ng kita at magpasya nang mag-isa sa kanilang sariling pagsusuri sa pondo.

Sa madaling salita, pareho ito sa lohika ng tunay na mundo: hindi dapat batay sa ipinapalagay na ang mga kalahok ay hindi magkakakamali o magkakasundo ang seguridad ng isang matibay na sistema.

Ito ay lalong mahalaga sa Agent Wallet.

Ang tradisyonal na seguridad ng wallet ay nakatuon sa "tao", kaya ang user ang tumitingin sa mga detalye ng transaksyon, ang user ang desisyon kung papayagan o hindi, at huli, ang user ang personal na nagpapakita ng pirma; ngunit ang layunin ng Agent Wallet ay kabaligtaran nito—upang hayaan ang AI na kumuha ng mga kita para sa iyo, ayusin ang posisyon, palitan ang mga coin, mag-cross-chain, at kahit na pamahalaan ang buong portfolio batay sa pagbabago ng merkado.

Kung kailangang i-confirm muli ang bawat hakbang sa user, ang automation value ng Agent ay mababawasan nang malaki.

Kaya ang problema na kailangang lutasin ng future wallet ay maaaring hindi na lamang ang “paano ligtas na ibigay ang karapatan sa pag-sign sa Agent,” kundi maaaring mas lalong palawakin sa “paano bigyan ng sapat na awtonomiya ang Agent habang nananatiling imposible para sa kanya na lumabas sa saklaw ng awtorisasyon ng user?”

Nangangailangan ito ng pahintulot na magsimula mula sa isang simpleng «Allow/Deny» patungo sa isang mas detalyadong sistema.

Halimbawa, anong mga ari-arian ang maaaring i-operate ng isang Agent sa isang tiyak na panahon, anong mga protokolo ang maaaring i-call, ang single at cumulative limit ay ilan; maaari ba ang iba’t ibang Agent na mag-call sa isa’t isa, at pinapayagan ba ang pagbabahagi ng konteksto; sino ang nagmumungkahi, sino ang nagsusuri, at sino ang huling nagpapatupad ng isang operasyon; anong mga gawain ang maaaring mai-complete nang awtomatiko, at anong mga aksyon ay kailangan pa ring makuha ang pahintulot ng tao, kahit gaano pa kasiyahan ang Agent.

Kahit isang Agent na responsable sa security audit, ang kanyang sariling pagkakaroon ng kalayaan ay maaaring maging bahagi ng sistema ng pagsasakop.

Para sa blockchain, ang magandang balita ay ang sarili nito ay talagang angkop na maging ganitong “institutional layer.”

Ang mga smart contract ay maaaring direktang ipatupad ang mga limitasyon tulad ng halaga ng transaksyon, sakop ng ari-arian, at panahon ng pahintulot sa antas ng pagpapatupad, habang ang mga mekanismo tulad ng account abstraction, multi-signature, at Session Key ay nagbibigay ng mas malawak at mas fleksibleng espasyo para sa "limitadong pahintulot" kumpara sa tradisyonal na wallet na may iisang private key.

Ngunit ang blockchain ay kakaunti lamang ang nakakasolusyon — ito ay nakakarekord kung ano ang nangyari sa chain, ngunit mahirap nang natural na masukat kung bakit ginawa ng Agent iyon, at anong uri ng komunikasyon, pagsusuri, at pakikipagtulungan ang ginawa ng ilang Agent bago gumawa ng desisyon.

Ito ang posibleng tunay na seguridad na kailangang idagdag sa susunod na yugto ng Agent Wallet.

Sa mga nakalipas na taon, ang pinaka-karaniwang pag-uusap tungkol sa AI safety ay kung paano gawing mas «masunurin» ang mga modelo.

Ito ay kasama ang pag-iwas sa pag-output ng mapanganib na nilalaman, pag-iwas sa pagsasagawa ng masasamang utos, at pag-iwas sa paglalabas sa mga hangganan na itinakda ng user, ngunit kapag nagsimula na ang Agent na magkaroon ng matagalang Memory, pagtawag ng mga kasangkapan, at kakayahang magpapatupad ng mga akawnt at ari-arian, ang pagtitiyak lamang na “gawing mas masunurin ang model” ay maaaring hindi na sapat.

Ang mga nangyari sa mga nakaraang buwan ay patuloy na nagpapatotoo dito.

Ang mga attacker ay nagsimula nang gamitin ang maraming Agent nang sabay-sabay upang matapos ang pag-atake; ang mga Agent sa eksperimentong kapaligiran ay maghahanap ng sarili nilang mga bagong channel ng komunikasyon; isang Agent na may pagsasagawa ng mga kasangkapan ay maaari ring palitan ang isang masasamang email sa tunay na pagsasagawa bago makapag-block ang security system.

Ang pagbabalangkas ng paggawa ng pamamahala na ipinropose ni Vitalik ay nagtataglay ng isang iba’t ibang paraan ng pag-unawa sa AI Safety: hindi magmumula sa palagay na ang bawat Agent sa hinaharap ay sapat na maaasahan, kundi nagpapahintulot na ang buong sistema ay maaaring magtrabaho nang maayos sa loob ng isang ligtas na framework kahit na mayroong matalinong mga Agent at malalaking sistema ng mga pagsasagawa.

Sa pananaw na ito, ang AI Agent + seguridad ay isang mahabang proyekto.

Sa wakas, pagkatapos nating ipagkatiwala sa AI ang mas maraming bagay, patuloy pa ba nating masiguro na ang pinakamahalagang kapangyarihan ay hindi naglabas sa tunay na hangganan na itinakda ng tao?