Anda tidak perlu akses ke dompet seseorang untuk mempengaruhi ke mana AI mereka menghantar dana.
Anda hanya perlu mempengaruhi apa yang dibaca oleh AI.
Bayangkan sebuah agen AI yang mengurus pembayaran untuk sebuah usaha kecil. Ia memeriksa kemas kini pemasok, membaca postingan awam, memproses invois, dan menentukan pembayaran mana yang memerlukan perhatian.
Arahan jahat tidak perlu kelihatan seperti arahan daripada pemilik. Ia boleh disembunyikan di dalam sesuatu yang diminta agar agen baca.
Itulah bahagian yang tidak selesa tentang prompt injection. Agen mungkin sedang melakukan tepat apa yang anda minta, sementara penyerang sedang cuba secara senyap mengubah cara ia mentafsirkan maklumat.
Ini bukan lagi hipotetikal. Sebuah agen AI dilaporkan telah mentransfer sekitar $200,000 selepas arahan yang disembunyikan dalam kod Morse di dalam tweet dinyahkod dan dilaksanakan.
Masalah dengan bergantung pada satu model dan satu penapis ialah penyerang hanya perlu mengkaji satu pertahanan.
Greyboxing mendekati ini secara berbeza.
Di @GenLayer, setiap validator menulis semula input yang masuk menggunakan pertahanan rahsia sendiri sebelum sebarang model melihatnya. Setiap validator kemudian menilai permintaan tersebut, dan yang lain boleh mengalahkan satu yang tertipu oleh serangan.
Apa yang saya anggap menarik ialah perubahan dalam pemikiran keselamatan.
Bukan cuba membuat satu AI mustahil untuk ditipu, sistem direka supaya menipu satu AI sahaja tidak cukup.
Jika agen boleh menggerakkan dana anda, patutkah keselamatannya bergantung pada satu model membuat keputusan yang betul?