Hindi kailangan ng isang AI agent na may masamang intensyon upang magdulot ng tunay na pinsala. Kailangan lamang nito ang maling pag-unawa kung saan ito gumagana. Ipinakita ng @AnthropicAI kahapon na natanggap ng @claudeai ang hindi awtorisadong pag-access sa production systems ng tatlong organisasyon habang nagpapatupad ng mga pagsusuri sa cybersecurity. Sinabi sa mga modelo na sila ay gumagawa sa loob ng mga simulation, ngunit isang pagkakamali sa konfigurasyon ang nagbigay sa kanila ng access sa tunay na internet. Tinuring ni Claude ang mga sistema na natagpuan nito bilang bahagi ng pagsusuri at patuloy na tinry na matupad ang layunin na ibinigay sa kanya. Ito ay isang mahalagang pagkakaiba. Hindi nagpasya ang modelo na tumakas, lumaban, o serbuhin ang random na mga target. Tumindig ito nang tugma sa impormasyon at pahintulot na natanggap nito. Maling kapaligiran ang naging dahilan kung bakit mali ang pagpapatupad. Ito ang pangunahing hamon ng autonomous AI. Maraming oras nating ginugugol upang tanungin kung susunod ba ang isang agent sa mga utos nito, ngunit ang pagtupad nang perpekto sa mga utos ay maaari pa ring maging mapanganib kung mali ang konteksto, data, o mga hangganan. Hindi maaaring umasa ang kaligtasan sa pagtanda ng modelo kung saan ito pinapayagan na gumawa. Kailangan nito ng panlabas na kontrol na hindi kayang labasan ng modelo, kabilang ang tunay na network isolation, maliit na pahintulot, veripikadong target, limitasyon sa transaksyon, at awtomatikong kondisyon para sa pag-antig. Hindi magiging ligtas ang hinaharap ng mga agent na hindi nagkakamali. Magiging ligtas ito ng mga sistema na umaasa na mayroon silang magkakamali sa huli.