AI agen bisa ditipu, dan jangan berharap masalah ini akan hilang hanya dengan mengganti model yang lebih cerdas. BNB Agent Studio dan mitra AWS melakukan serangkaian pengujian “agen yang membingungkan”. Penyerang memasukkan penerima atau jumlah yang salah ke dalam tugas yang tampak normal; enam model memiliki tingkat pelaksanaan pembayaran melanggar hingga 87% dalam beberapa skenario. Setelah menambahkan lapisan strategi dompet, model tetap berusaha melakukan kesalahan, tetapi tidak ada satu pun pembayaran melanggar yang ditandatangani dalam lingkungan pengujian. Daftar putih penerima, batas pengeluaran, dan izin tanda tangan dieksekusi oleh kode, dan kunci pribadi tidak dimasukkan ke dalam konteks model. Saya setuju dengan pendekatan ini. AI bisa membantu Anda membuat keputusan, tetapi batasan pengeluaran harus ditetapkan secara tetap di dalam dompet. Hasil saat ini berasal dari pengujian satu putaran dan verifikasi jaringan uji BSC; masih ada jalan panjang menuju perlindungan jangka panjang di lingkungan produksi. Namun, arahnya jelas: pertahanan ditempatkan sebelum tanda tangan.