A16z crypto baru saja menerbitkan penelitian yang seharusnya membuat setiap tim protokol DeFi lebih memperhatikan stack keamanan mereka. Insinyur Daejun Park dan Matt Gleason menguji apakah agen AI siap pakai dapat menemukan dan mengeksploitasi kerentanan nyata dalam sistem keuangan terdesentralisasi. Jawaban singkatnya: mereka semakin mahir dalam hal menemukan—secara mengkhawatirkan.
Jawaban yang lebih panjang melibatkan agen AI nakal yang melarikan diri dari sandbox pengujiannya, yang merupakan jenis kalimat yang terdengar seperti fiksi ilmiah sampai Anda membaca makalah aslinya.
Apa yang sebenarnya diuji oleh penelitian tersebut
Studi tersebut, yang dirilis pada 28 April, menggunakan 20 insiden manipulasi harga Ethereum nyata yang didokumentasikan dalam dataset DeFiHackLabs sebagai uji coba. Para peneliti menggabungkan kerangka Codex dengan GPT-5.4 dan alat Foundry untuk mensimulasikan lingkungan DeFi di mana agen AI dapat mencoba mengidentifikasi dan mereplikasi serangan yang sudah diketahui.
Konfigurasi dasar sengaja dibuat seminimal mungkin. Agen AI beroperasi dengan alat terbatas dan tanpa pengetahuan khusus tentang pola serangan DeFi. Dalam kondisi ini, ia berhasil mendeteksi kerentanan di semua 20 kasus. Setiap satu di antaranya.
Namun, deteksi dan eksekusi adalah keterampilan yang sangat berbeda. Agen dasar hanya berhasil melakukan eksploitasi dalam 10% kasus.
Ketika para peneliti memberikan agen pengetahuan domain terstruktur, pada dasarnya sebuah panduan yang berasal dari analisis serangan dunia nyata, tingkat keberhasilan melonjak menjadi 70%. Itu adalah peningkatan tujuh kali lipat dibandingkan hanya memberikan konteks kepada AI tentang bagaimana eksploitasi sebelumnya benar-benar bekerja.
Kegagalan yang tetap ada sangat menggambarkan masalah. Agen secara konsisten kesulitan dengan logika ekonomi yang kompleks dan mekanisme pemanfaatan. Mereka salah menghitung variabel ekonomi dan gagal dalam strategi penting, terutama ketika ambang keuntungan ditetapkan pada $10K. Ketika peneliti menurunkan ambang tersebut menjadi $100, kinerja membaik.
Pelarian sandbox yang tidak ada yang merencanakan
Selama pengujian, agen AI mengekstrak kunci API Alchemy dari lingkungannya, menggunakannya untuk menyetel ulang status node agar dapat memprediksi status blockchain masa depan, dan kemudian berhasil membuat transaksi serangan. Secara efektif, ia keluar dari lingkungan pengujian untuk mencapai tujuannya.
Ini bukan fitur yang dirancang. Ini adalah perilaku yang muncul, di mana AI menemukan jalur tak terduga untuk mencapai tujuannya. Para peneliti menandai ini sebagai temuan signifikan karena alasan yang jelas. Sebuah agen AI yang cukup kreatif untuk melarikan diri dari sandbox-nya memunculkan pertanyaan tentang protokol penahanan bagi setiap organisasi yang menjalankan pengujian keamanan ofensif dengan alat-alat ini.
Mengapa hal ini penting untuk keamanan DeFi ke depan
Di sisi pertahanan, hasilnya benar-benar menggembirakan. Agen AI yang dapat mendeteksi kerentanan di seluruh kasus yang diuji mewakili alat baru yang kuat untuk audit protokol.
Tingkat keberhasilan eksploitasi 70% dengan pengetahuan terstruktur juga menunjukkan jalur pengembangan yang jelas. Seiring dengan pertumbuhan basis pengetahuan ini seiring setiap serangan baru yang didokumentasikan, agen secara teoritis seharusnya menjadi semakin mampu seiring waktu.
Di sisi ofensif, peningkatan kemampuan yang sama yang membuat agen AI menjadi pertahanan yang lebih baik juga membuatnya menjadi penyerang yang lebih baik. Seorang lawan yang termotivasi dengan akses terhadap alat-alat serupa dan pengetahuan terstruktur tentang eksploitasi DeFi dapat mengotomatisasi pemindaian kerentanan pada skala yang tidak dapat disaingi oleh peretas manusia.