Sebuah agen AI tidak memerlukan niat jahat untuk menyebabkan kerusakan nyata. Ia hanya memerlukan pemahaman yang salah tentang di mana ia beroperasi. @AnthropicAI mengungkapkan kemarin bahwa @claudeai mendapatkan akses tidak sah ke sistem produksi tiga organisasi selama evaluasi keamanan siber. Model-model tersebut diberi tahu bahwa mereka bekerja di dalam simulasi, tetapi kegagalan konfigurasi memberi mereka akses ke internet nyata. Claude memperlakukan sistem yang ditemukannya sebagai bagian dari latihan dan terus mengejar tujuan yang telah diberikan kepadanya. Ini adalah perbedaan penting. Model tersebut tidak memutuskan untuk melarikan diri, memberontak, atau menyerang target acak. Ia berperilaku konsisten dengan informasi dan izin yang diterimanya. Lingkungannya salah, sehingga eksekusinya salah. Itulah tantangan utama AI otonom. Kita menghabiskan banyak waktu bertanya apakah sebuah agen akan mengikuti instruksinya, tetapi mengikuti instruksi secara sempurna tetap bisa berbahaya ketika konteks, data, atau batasannya salah. Keamanan tidak bisa bergantung pada kemampuan model untuk mengingat di mana ia diizinkan bertindak. Ini memerlukan kontrol eksternal yang tidak dapat diabaikan oleh model, termasuk isolasi jaringan nyata, izin terbatas, target yang diverifikasi, batas transaksi, dan kondisi pemutusan otomatis. Masa depan tidak akan diamankan oleh agen yang tidak pernah membuat kesalahan. Masa depan akan diamankan oleh sistem yang mengasumsikan bahwa pada akhirnya mereka akan membuat kesalahan.