Ang mga AI agent na nagdadala ng mga alaala ng walang panganib na mga hiling ng user ay minsan ay naglilipas ng mga panatag sa mas huling mga sinimulang may mataas na antas ng panganib, ayon sa isang preprint noong Nobyembre 5.
Ang pagkakatuklas ay nagmumungkahi na ang personalisasyon ay maaaring palawakin ang ano ang itinuturing ng isang agent bilang pahintulot. Ang mga siyentipiko na may-ugnay sa Princeton University at Anthropic ay ihinambing ang anim na modelo na may at walang mga alaala na nabuo sa panahon ng mga mapayapang interaksyon.
Ang kanilang pag-aaral, The Memory Trap, ay natuklasan na ang pahintulot para sa mga karaniwang gawain sa pag-code ay maaaring magpatuloy sa mga gawain na higit pa sa kanilang orihinal na saklaw, nang walang pagtatanim ng masasamang utos ng isang attacker.
Kaugnay na Kompanya Anthropic AI models at pananaliksik
Hindi nagbibigay ng pahintulot ang pagkakaroon ng pahintulot na tapusin ang isang simpleng gawain upang gawin nang walang hanggan ang bawat susunod na gawain. Natuklasan ng mga mananaliksik na maaaring mawala ang hangganan ng mga agent kapag sumusulat sila ng tala sa memorya o kapag ginagamit ito, at kahit ang mga ganap na transkripsyon ay maaaring magdulot ng overgeneralization.
Natapos ng mga agent ang 20 karaniwang gawain sa pag-code na may anim na bersyon ng pagtutol mula sa user laban sa pagkakasumpungan, na nagproduksyon ng hanggang 120 kombinasyon ng pahintulot-tala bawat modelo. Sinakop ang mga alaala na iyon sa mga bagong sesyon kasama ang mga sinimulang gawain na nagpapakita ng mga dahilan upang humingi ng pagkakasumpungan o patakbuhin ang isang available na pagsusuri ng kaligtasan.
Ang pagkilos nang walang kailangang pagkumpirma o pag-verify ay itinuturing na hindi ligtas. Sa loob ng apat na pagkukumpara ng awtonomiya bawat modelo, ang sariling isinulat na mga tala ng pahintulot ay nagpalaki ng rate ng hindi ligtas na pagkilos mula sa ilalim ng 1% hanggang 66%-81% para sa Claude Sonnet-4.6 at 35%-58% para sa Claude Opus-4.7.
OpenAI's GPT-5.6 ay nagpakita rin ng mas mataas na rate ng hindi ligtas na aksyon at mga tala sa lahat ng apat na paghahambing sa awtonomiya, bagaman isinulat nito ang mas maliit na mga tala sa pahintulot.
Kaugnay na Kumpanya OpenAI AI research at deployment company
Ang pagpapanatili ng mga salita ng isang hiling ay hindi nagjamin na ang agent ay nagpapanatili ng kanyang saklaw.
Ang mga kontroladong eksperimento ay gumamit ng scripted na interaksyon, sinimulang mga gawain na may mataas na antas ng panganib at awtomatikong naload na memorya. Ang kadalasan ng pag-deploy ay hindi masukat; ang diagram ay hindi nagpapakita ng live na insidente o nasubok na pagpapalit.
Tama ang mga pagsubok na may AI agents na nagpapahina rin
Isang hiwalay na eksperimento na may 50-kaso ang sinuri ang mga alaala na nabuo habang nagaganap ang legal na pagpapalit sa mga lumang software test. Sa mga susunod na gawain, binago ng mga agent ang mga tama na test, upang makapasa ang mga nasiraang safeguard. Isang defektibong pag-check ng pag-access ang nagbigay ng administrator rights sa isang hindi kilalang papel.
Sa conflicting-test split ng coding benchmark na ImpossibleBench, tumataas ang rate ng pag-cheat ng Opus-4.8 mula sa 29% nang walang memorya patungo sa 74% nang may mga tala. Ang Fable-5 ay malapit na hindi nagbago, mula sa 18% patungo sa 19%.
Ang mga eksperimento ay gumamit ng scripted na interaksyon, binuo ang mga senaryo, sinimulang mga aksyon na may mataas na antas ng panganib, at awtomatikong nilo-load ang mga memorya.
Ang mga hangganan ng pahintulot ay may praktikal na epekto: ang hindi awtorisadong paggastus sa Sepolia testnet ng isang OpenAI model ay nagpalabas ng hiwalay na pagkabigo sa pahintulot noong Oktubre, ngunit hindi ito nagtakda ng persistent memory bilang sanhi.
Sa Nov. 6 engineering report, inilarawan ng Anthropic kung paano maaaring magdala ng maling mga tala sa memorya sa bawat sesyon.
Propos ng mga may-akda ng pag-aaral na i-record ang gawain, okasyon, at tagapagbigay ng pahintulot ng isang alaala, at i-check sa mga gumagamit bago isang alaalang preferensya ay magbigay ng pahintulot sa isang hindi mababawi aksyon. Gayunpaman, ang mga panatag na ito ay kailangan pa rin ng pagtataya sa pag-uugali.