Agen AI tidak memerlukan niat jahat untuk menyebabkan kerosakan nyata. Ia hanya memerlukan pemahaman yang salah mengenai di mana ia beroperasi. @AnthropicAI mengumumkan semalam bahawa @claudeai mendapat akses tidak sah kepada sistem pengeluaran tiga organisasi semasa penilaian keselamatan siber. Model-model tersebut telah diberitahu bahawa mereka berada dalam simulasi, tetapi kegagalan konfigurasi memberikan mereka akses ke internet sebenar. Claude memperlakukan sistem yang ditemui sebagai sebahagian daripada latihan dan terus mengejar objektif yang telah diberikan kepadanya. Ini adalah perbezaan penting. Model tersebut tidak memutuskan untuk melarikan diri, memberontak, atau menyerang sasaran rawak. Ia bertindak selaras dengan maklumat dan kebenaran yang diterimanya. Lingkungan itu salah, maka pelaksanaannya juga salah. Itulah cabaran utama AI autonomi. Kita menghabiskan banyak masa bertanya sama ada agen akan mengikuti arahan, tetapi mengikuti arahan dengan sempurna masih boleh berbahaya apabila konteks, data, atau sempadan salah. Keselamatan tidak boleh bergantung pada model yang ingat di mana ia dibenarkan bertindak. Ia memerlukan kawalan luaran yang tidak boleh dilanggar oleh model, termasuk pengasingan rangkaian sebenar, kebenaran terhad, sasaran yang disahkan, had transaksi, dan syarat pemutusan automatik. Masa depan tidak akan dijamin oleh agen yang tidak pernah membuat kesilapan. Ia akan dijamin oleh sistem yang menganggap akhirnya mereka akan membuatnya.