ChainCatcher melaporkan, tim GoPlus Security mengungkapkan metode serangan baru dalam proyek AgentGuard AI mereka: menggunakan "memory poisoning" untuk memicu agen AI melakukan operasi sensitif tanpa otorisasi eksplisit. Metode serangan ini tidak bergantung pada kerentanan tradisional atau kode jahat, melainkan memanfaatkan mekanisme memori jangka panjang agen AI. Sebagai contoh, penyerang terlebih dahulu memicu agen untuk "mengingat preferensi", seperti "biasanya lebih memilih pengembalian dana aktif daripada menunggu penolakan", lalu dalam perintah selanjutnya menggunakan ekspresi ambigu seperti "tangani sesuai kebiasaan" atau "lakukan seperti sebelumnya", sehingga memicu operasi otomatis dana. GoPlus menunjukkan bahwa inti risiko ini adalah agen AI akan salah mengartikan "preferensi historis" sebagai dasar otorisasi, yang dapat menyebabkan kerugian dana atau insiden keamanan dalam operasi seperti pengembalian dana, transfer, atau perubahan konfigurasi. Untuk mengatasi masalah ini, tim merekomendasikan beberapa langkah perlindungan, termasuk: · Operasi yang melibatkan pengembalian dana, transfer, penghapusan, atau konfigurasi sensitif harus memerlukan konfirmasi eksplisit dalam sesi saat ini · Perintah berbasis memori seperti "kebiasaan", "cara biasa", atau "lanjutkan seperti biasa" harus dianggap sebagai perubahan berisiko tinggi · Memori jangka panjang harus memiliki mekanisme pelacakan (pembuat, waktu, apakah dikonfirmasi) · Perintah ambigu harus secara otomatis meningkatkan tingkat risiko dan memicu verifikasi kedua · Memori jangka panjang tidak boleh menggantikan proses otorisasi real-time. Tim menekankan bahwa "sistem memori agen AI" harus dipandang sebagai potensi permukaan serangan dan dikendalikan serta diaudit melalui kerangka keamanan khusus.
Risiko Keamanan Agen AI Baru: Poisoning Memori Bisa Memicu Operasi Dana yang Tidak Diizinkan
ChaincatcherBagikan
Ringkasan
Kekhawatiran manajemen risiko meningkat setelah tim GoPlus Security mengungkap ancaman AI baru dalam proyek AgentGuard mereka. Penyerang dapat menggunakan memory poisoning untuk memanipulasi agen AI agar melakukan perpindahan dana tanpa otorisasi. Dengan menanamkan memori berbasis preferensi, penyerang kemudian memicu tindakan dengan perintah yang samar. Masalah intinya adalah agen yang salah menganggap entri memori sebagai otorisasi, yang dapat mengganggu penilaian rasio risiko-terhadap-imbalan dalam perdagangan otomatis. Untuk mengurangi paparan, GoPlus merekomendasikan memerlukan persetujuan eksplisit untuk tindakan sensitif, memperlakukan input berbasis memori sebagai berisiko tinggi, dan memastikan semua entri memori jangka panjang dapat dilacak. Instruksi yang ambigu seharusnya memiliki tingkat risiko yang lebih tinggi, dan otorisasi real-time tidak boleh digantikan oleh preferensi yang disimpan.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.