Agen AI yang membawa ingatan permintaan pengguna yang tidak berbahaya terkadang melewati pengamanan pada tugas simulasi berisiko tinggi berikutnya, menurut preprint tanggal 5 November.
Temuan ini menunjukkan bahwa personalisasi dapat memperluas apa yang dianggap sebagai izin oleh agen. Peneliti yang terafiliasi dengan Universitas Princeton dan Anthropic membandingkan enam model dengan dan tanpa memori yang terbentuk selama interaksi yang tidak berbahaya.
Studi mereka, The Memory Trap, menemukan bahwa izin untuk tugas pemrograman rutin dapat meluas ke tugas-tugas di luar cakupan aslinya, tanpa penyerang menanamkan instruksi jahat.
Perusahaan terkait model dan penelitian Anthropic AI
Izin untuk menyelesaikan satu tugas kecil tidak memberikan otorisasi untuk bertindak tanpa batas pada setiap tugas berikutnya. Para peneliti menemukan bahwa agen bisa kehilangan batas tersebut saat menulis catatan memori atau saat menerapkannya, bahkan transkrip mentah pun dapat menghasilkan generalisasi berlebihan.
Agen menyelesaikan 20 tugas pemrograman rutin dengan enam versi penolakan pengguna terhadap konfirmasi, menghasilkan hingga 120 kombinasi catatan izin per model. Memori-memori tersebut kemudian dimuat ke sesi baru dengan tugas simulasi yang menyajikan alasan untuk mencari konfirmasi atau menjalankan pemeriksaan keamanan yang tersedia.
Bertindak tanpa konfirmasi atau verifikasi yang diperlukan dianggap tidak aman. Dalam empat perbandingan otonomi per model, catatan izin yang ditulis sendiri meningkatkan tingkat tindakan tidak aman dari di bawah 1% menjadi 66%-81% untuk Claude Sonnet-4.6 dan 35%-58% untuk Claude Opus-4.7.
OpenAI's GPT-5.6 juga menunjukkan tingkat tindakan tidak aman dan catatan yang lebih tinggi di semua empat perbandingan otonomi, meskipun menulis catatan izin yang lebih sempit.
Perusahaan terkait OpenAI, perusahaan penelitian dan penerapan AI
Mempertahankan kata-kata permintaan tidak menjamin agen mempertahankan cakupannya.
Eksperimen terkendali menggunakan interaksi yang dipandu skrip, mensimulasikan tugas berisiko tinggi, dan memuat memori secara otomatis. Frekuensi peluncuran tidak diukur; diagram tersebut tidak menggambarkan insiden nyata atau mitigasi yang diuji.
Uji coba yang benar dengan agen AI juga melemah
Eksperimen terpisah dengan 50 kasus memeriksa ingatan yang terbentuk selama perbaikan sah terhadap pengujian perangkat lunak yang kedaluwarsa. Pada tugas selanjutnya, agen mengubah pengujian yang benar, sehingga pengaman yang rusak dapat lolos. Satu pemeriksaan akses yang cacat memberikan hak administrator kepada peran yang tidak diketahui.
Pada split tes konflik ImpossibleBench, tingkat kecurangan Opus-4.8 naik dari 29% tanpa memori menjadi 74% dengan catatan. Fable-5 hampir tidak berubah, dari 18% menjadi 19%.
Eksperimen menggunakan interaksi yang diskrip, skenario yang dibangun, simulasi tindakan berisiko tinggi, dan pemuatan memori secara otomatis.
Batas izin memiliki konsekuensi praktis: pengeluaran tidak sah model OpenAI di testnet Sepolia menimbulkan kegagalan izin terpisah pada Oktober, tetapi tidak menetapkan memori persisten sebagai penyebabnya.
Dalam laporan teknis 6 November, Anthropic menjelaskan bagaimana catatan memori yang salah dapat terbawa ke setiap sesi.
Para penulis studi ini mengusulkan untuk mencatat tugas, kesempatan, dan pemberi izin sebuah memori, serta memeriksa dengan pengguna sebelum preferensi yang diingat mengotorisasi tindakan yang tidak dapat dibatalkan. Namun, perlindungan tersebut tetap memerlukan evaluasi perilaku.