Mesej ChainCatcher, pasukan GoPlus Security mengungkapkan kaedah serangan baharu dalam projek AgentGuard AI mereka: menggunakan “injeksi memori sejarah (memory poisoning)” untuk menghasut agen AI menjalankan operasi sensitif tanpa kebenaran jelas. Kaedah serangan ini tidak bergantung pada lubang keamanan tradisional atau kod jahat, tetapi memanfaatkan mekanisme memori jangka panjang agen AI. Sebagai contoh, penyerang terlebih dahulu menghasut agen untuk “mengingat preferensi”, seperti “biasanya lebih suka membuat refund secara aktif daripada menunggu penolakan”, kemudian dalam arahan seterusnya menggunakan ungkapan kabur seperti “tindakan mengikut amalan biasa” atau “lakukan seperti sebelum ini”, yang memicu operasi dana automatik. GoPlus menekankan bahawa risiko utama dalam kes ini ialah agen AI akan menganggap “preferensi sejarah” sebagai asas kebenaran, yang boleh menyebabkan kerugian dana atau insiden keselamatan dalam operasi seperti refund, pemindahan dana, atau pengubahsuaian konfigurasi. Menghadapi masalah ini, pasukan mencadangkan beberapa langkah perlindungan, termasuk: · Operasi yang melibatkan refund, pemindahan dana, penghapusan, atau konfigurasi sensitif mesti mendapat pengesahan eksplisit semasa sesi semasa · Arahan berdasarkan memori seperti “kebiasaan”, “cara biasa”, atau “lakukan seperti biasa” harus dianggap sebagai perubahan berisiko tinggi · Memori jangka panjang mesti mempunyai mekanisme boleh dilacak (pencatat, masa, dan sama ada disahkan) · Arahan kabur mesti secara automatik meningkatkan tahap risiko dan memicu pengesahan dua langkah · Memori jangka panjang tidak boleh menggantikan proses kebenaran secara semasa Pasukan ini menekankan bahawa “sistem memori agen AI” harus dipandang sebagai permukaan serangan berpotensi, dan perlu dikawal serta diaudit melalui kerangka keselamatan khusus.
Risiko Keselamatan Agen AI Baru: Pencemaran Memori Boleh Memicu Operasi Dana Tanpa Kebenaran
ChaincatcherKongsi
Ringkasan
Kekhawatiran pengurusan risiko telah meningkat apabila pasukan GoPlus Security mengungkap ancaman AI baharu dalam projek AgentGuard mereka. Penyerang boleh menggunakan keracunan memori untuk memanipulasi agen AI supaya melakukan pergerakan dana tanpa kebenaran. Dengan menanam memori berdasarkan keutamaan, penyerang kemudian memicu tindakan dengan arahan yang kabur. Masalah utama ialah agen salah menganggap entri memori sebagai kebenaran, yang boleh mengganggu penilaian nisbah risiko-keuntungan dalam perdagangan automatik. Untuk mengurangkan eksposur, GoPlus mencadangkan memerlukan persetujuan eksplisit untuk tindakan sensitif, memperlakukan input berdasarkan memori sebagai berisiko tinggi, dan memastikan semua entri memori jangka panjang boleh dilacak. Arahan yang kabur seharusnya membawa tahap risiko yang lebih tinggi, dan kebenaran secara masa nyata tidak boleh digantikan oleh keutamaan yang disimpan.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.