Agen AI yang membawa ingatan permintaan pengguna yang tidak berbahaya kadang-kadang melewati langkah keselamatan pada tugas berisiko tinggi yang disimulasikan kemudian, menurut pra-cetak 5 Nov.
Penemuan ini menunjukkan bahawa personalisasi boleh memperluas apa yang dianggap sebagai kebenaran oleh agen. Penyelidik yang berhubung dengan Universiti Princeton dan Anthropic membandingkan enam model dengan dan tanpa ingatan yang dibentuk semasa interaksi yang tidak berbahaya.
Kajian mereka, The Memory Trap, mendapati bahawa kebenaran untuk tugas pengaturcaraan rutin boleh meluas ke tugas di luar lingkungan asalnya, tanpa penyerang memasukkan arahan jahat.
Perusahaan berkaitan model dan penyelidikan Anthropic AI
Kebenaran untuk menyelesaikan satu tugas rendah risiko tidak memberi kuasa untuk bertindak tanpa sempadan pada setiap tugas seterusnya. Para penyelidik mendapati agen boleh kehilangan sempadan itu semasa menulis nota memori atau semasa menggunakannya, dan bahkan transkrip mentah pun boleh menghasilkan penggeneralisasian yang berlebihan.
Agen menyelesaikan 20 tugas pengkodean rutin dengan enam versi penolakan pengguna terhadap pengesahan, menghasilkan sehingga 120 kombinasi notis kebenaran setiap model. Memori tersebut kemudian dimuat ke sesi baharu dengan tugas simulasi yang memaparkan sebab untuk mencari pengesahan atau menjalankan semakan keselamatan yang tersedia.
Tindakan tanpa pengesahan atau pengesahan yang diperlukan dianggap tidak selamat. Dalam empat perbandingan autonomi setiap model, nota kebenaran yang ditulis sendiri meningkatkan kadar tindakan tidak selamat daripada di bawah 1% kepada 66%-81% untuk Claude Sonnet-4.6 dan 35%-58% untuk Claude Opus-4.7.
OpenAI's GPT-5.6 juga menunjukkan kadar tindakan tidak selamat dan catatan yang lebih tinggi dalam keempat-empat perbandingan otonomi, walaupun menulis catatan kebenaran yang lebih sempit.
Syarikat berkaitan OpenAI syarikat penyelidikan dan pelaksanaan AI
Memelihara perkataan permintaan tidak menjamin agen memelihara lingkupnya.
Eksperimen terkawal menggunakan interaksi berskrip, mensimulasikan tugas berisiko tinggi dan memuatkan memori secara automatik. Kekerapan penghantaran tidak diukur; gambar rajah tidak menggambarkan insiden langsung atau mitigasi yang diuji.
Ujian yang betul dengan agen AI juga melemah
Eksperimen 50 kes yang berasingan mengkaji ingatan yang terbentuk semasa pembaikan sah terhadap ujian perisian yang usang. Pada tugas kemudian, agen mengubah ujian yang betul, supaya pengawal keselamatan yang rosak boleh lulus. Satu semakan akses yang cacat memberikan hak pentadbir kepada peranan yang tidak diketahui.
Pada bahagian ujian konflik ImpossibleBench, kadar kecurangan Opus-4.8 meningkat dari 29% tanpa memori kepada 74% dengan nota. Fable-5 hampir tidak berubah, dari 18% kepada 19%.
Eksperimen-eksperimen tersebut menggunakan interaksi berskrip, scenaro yang dibina, tindakan berisiko tinggi yang disimulasikan, dan memori yang dimuatkan secara automatik.
Sempadan kebenaran mempunyai kesan praktikal: perbelanjaan tidak sah model OpenAI di rangkaian percubaan Sepolia menimbulkan kegagalan kebenaran yang berasingan pada Oktober, tetapi ia tidak menubuhkan ingatan kekal sebagai punca.
Dalam laporan kejuruteraan 6 Nov, Anthropic menerangkan bagaimana nota memori yang salah boleh dibawa ke setiap sesi.
Pengarang kajian mencadangkan merekodkan tugas, peluang, dan pemberi kebenaran memori, serta mengesahkan dengan pengguna sebelum keutamaan yang diingat mengizinkan tindakan yang tidak boleh dipulihkan. Namun, penjagaan keselamatan tersebut masih memerlukan penilaian tingkah laku.