Agen AI Mulai Berkolaborasi dalam Serangan Siber, Meningkatkan Kekhawatiran Keamanan

Dalam beberapa tahun terakhir, diskusi tentang ancaman AI sebagian besar tetap bersifat hipotetis: orang-orang selalu khawatir model di dalam chatbox akan berubah menjadi penasihat, membantu peretas menulis kode virus yang merusak.

Sekarang melihat kembali, kekhawatiran semacam ini biasanya dianggap "masih jauh dari kita", tetapi titik balik dunia nyata datang lebih cepat dari yang diperkirakan.

Pada awal Oktober, CrowdStrike menemukan bahwa penyerang telah menyisipkan Agentic AI ke dalam alur kerja selama menyelidiki serangan terhadap lembaga keuangan Korea, di mana AI secara langsung mengambil alih tugas-tugas seperti pengujian penetrasi, pengumpulan informasi, dan eksekusi serangan melalui integrasi dengan beberapa model besar seperti DeepSeek, GLM, dan Grok.

Perubahan serupa bukanlah satu-satunya.

Laporan intelijen ancaman terbaru yang dirilis Anthropic pada September menunjukkan bahwa kerangka kerja Multi-Agent baru-baru ini telah digunakan untuk pengintaian, eksploitasi kerentanan, dan pencurian data, berjalan terus-menerus selama beberapa jam bahkan beberapa hari, dengan manusia hanya perlu membuat keputusan kunci seperti memilih target dan memeriksa hasil.

Dengan kata lain, AI sedang membawa perubahan kualitatif yang nyata dalam pertempuran siber, di mana serangan otomatis sebelumnya terutama bergantung pada aturan dan skrip yang telah ditulis sebelumnya, kini pengintaian, penilaian, dan penyesuaian strategi juga mulai diambil alih oleh Agent, membuat serangan semakin murah, berkapasitas tinggi, dan berjalan secara mandiri terus-menerus.

Namun, ketika entitas-entitas yang mampu menjalankan tugas secara mandiri ini dilepaskan secara padat ke dalam sistem produksi, masalah yang lebih rumit pun muncul: jika entitas-entitas ini belajar untuk saling "berkolusi", apa yang harus dilakukan?

Masih seperti biasa, perbedaan terbesar antara Agent dan chatbot masa lalu bukan hanya kemampuan model yang lebih kuat, tetapi lebih penting lagi karena ia mulai memiliki "tangan dan kaki" di dunia nyata.

Hari ini, sebuah Agent yang matang sudah dapat membuka halaman web, menjalankan kode, membaca email, memanggil API, mengoperasikan layanan cloud, dan terhubung ke semakin banyak alat eksternal melalui MCP, Skills, dan lainnya (baca lebih lanjut di "当黑客「更高效」用上 AI，Web3 的「矛与盾」军备竞赛如何升级？").

Semakin kuat kemampuannya, semakin berharga perubahan ini, tetapi bagi sistem keamanan, ini berarti batas yang sangat penting di masa lalu sedang menghilang, dan serangkaian insiden keamanan yang terjadi tahun ini telah membuat hal ini sangat jelas.

Pada 1 Oktober, Salt Labs mengungkap kerentanan Manus yang sebelumnya telah diperbaiki, pada dasarnya masih merupakan prompt injection—peneliti hanya perlu mengirimkan email biasa yang berisi perintah jahat tersembunyi ke alamat email target, dan ketika pengguna kemudian meminta Manus "bantu saya cek email", Agent berpotensi memproses konten sesuai perintah dalam email, sehingga menjalankan kode yang ditanamkan oleh penyerang.

Proses ini tidak memerlukan pengguna mengklik tautan berbahaya, maupun mencuri kata sandi terlebih dahulu; sistem keamanan Manus sebenarnya akhirnya mendeteksi anomali dan memberi peringatan kepada pengguna, masalahnya adalah deteksi terlambat—ketika peringatan muncul, kode jahat sudah dieksekusi.

Ini sekali lagi menunjukkan perbedaan penting antara keamanan Agent dan keamanan perangkat lunak tradisional: di masa lalu, ketika browser mendeteksi unduhan berbahaya, ia bisa menampilkan peringatan agar pengguna memutuskan apakah akan melanjutkan atau tidak; ketika bank mendeteksi transaksi yang tidak biasa, ia bisa membekukan terlebih dahulu, lalu menunggu tinjauan manual.

Namun, tujuan desain sebuah Agent justru adalah meminimalkan partisipasi manusia pada setiap langkah operasi, ia perlu membaca informasi sendiri, membuat keputusan, lalu melanjutkan ke langkah berikutnya.

Jadi, semakin besar otonomi yang diperoleh AI, «deteksi bahaya» sendiri sudah tidak lagi cukup, mekanisme keamanan harus mampu mencegah tindakan berbahaya sebelum benar-benar dieksekusi.

Ini juga mengapa semakin banyak diskusi keamanan agen hari ini bergerak lebih dalam: tidak hanya bertanya pada AI "apakah ia tahu hal ini seharusnya tidak dilakukan", tetapi juga apakah sistem memiliki kemampuan untuk mencegahnya melakukan hal tersebut, bahkan jika ia benar-benar ingin melakukannya?

Sedangkan munculnya Multi-Agent membuat masalah ini menjadi lebih kompleks, karena yang perlu dibatasi pada tahap berikutnya mungkin sudah bukan hanya satu Agent.

Pada awal September, sebuah kejadian yang terjadi di lingkungan pelatihan dan evaluasi model internal OpenAI menarik perhatian banyak peneliti keamanan AI.

Beberapa Agent awalnya seharusnya menyelesaikan tugas masing-masing secara terpisah, tetapi secara tidak sengaja menemukan sebuah Wiki publik dan perlahan mengubahnya menjadi "papan pesan bersama" di antara mereka, di mana Agent dapat meninggalkan pesan, dan Agent lain kemudian membaca serta memanfaatkan informasi tersebut untuk melanjutkan tugas mereka.

OpenAI kemudian mengonfirmasi perilaku ini, dan informasi yang diungkapkan selanjutnya menunjukkan bahwa dalam proses pelatihan lainnya, Agent juga pernah menggunakan Artifactory internal sebagai papan pesan bersama, serta mengirimkan hasil kepada Agent lain yang bekerja sama melalui layanan hosting file publik.

Hal yang benar-benar menarik tentang hal ini adalah bahwa kolaborasi antar agen mungkin sama sekali tidak memerlukan sesuatu yang dramatis.

Misalnya, sebuah Agent menemukan tempat di mana informasi dapat ditinggalkan, Agent lain secara kebetulan membacanya, lalu Agent ketiga menemukan bahwa informasi tersebut membantu menyelesaikan tugas.

Tentu, kolaborasi antar-agennya sendiri bukanlah hal buruk, sistem multi-agent memang memerlukan pembagian tugas dan berbagi informasi untuk meningkatkan efisiensi.

Yang benar-benar perlu diwaspadai adalah ketika kolaborasi ini mulai melewati isolasi informasi asli, tinjauan independen, atau batasan wewenang, bahkan memungkinkan beberapa Agent yang seharusnya saling mengontrol membentuk aliansi kepentingan secara faktual, maka kolaborasi ini bisa berubah menjadi 'kolusi' yang berbahaya.

Setelah semua, di masa depan, sebuah lembaga keuangan kemungkinan besar akan menjalankan beberapa Agent sekaligus, seperti satu yang bertanggung jawab atas analisis pasar, satu lagi untuk penilaian risiko, satu untuk menghasilkan strategi perdagangan, dan satu lagi yang memiliki otoritas nyata atas perdagangan dan operasi aset.

Dari perspektif manajemen izin tradisional, desain ini bahkan sangat masuk akal:

• Agent penelitian tidak memiliki izin transfer;
• Agent tidak memiliki wewenang untuk secara mandiri menentukan arah investasi;
• Risk Agent juga dapat membatalkan strategi yang jelas-jelas berbahaya;

Tanggung jawab dipisahkan, secara teori seharusnya lebih aman daripada memberikan semua otoritas kepada satu Super Agent.

Tetapi masalahnya adalah, jika mereka dapat berbagi Memory dalam jangka panjang, membaca output satu sama lain, dan terus-menerus menyesuaikan perilaku mereka berdasarkan reaksi satu sama lain, apakah serangkaian peran yang awalnya dirancang untuk saling mengendalikan ini tidak akan perlahan berubah menjadi satu kesatuan yang sebenarnya?

Misalnya, agen peneliti secara bertahap belajar bagaimana menggambarkan transaksi agar lebih mudah lulus pemeriksaan risiko; agen yang bertanggung jawab atas pemeriksaan juga mungkin membentuk preferensi tetap berdasarkan data historis; agen eksekusi kemudian belajar dari sejumlah besar hasil persetujuan sebelumnya, jenis batasan apa yang biasanya tidak diblokir.

Dari sudut pandang ini, tidak ada langkah tertentu yang pasti bersifat "jahat", tetapi hasil akhir dari sistem seluruhnya mungkin telah menyimpang dari tujuan awal yang ditetapkan pengguna.

Ini sebenarnya adalah bagian yang benar-benar sulit diatasi dari "kolusi" atau "kongkalikong" — risiko tidak selalu terletak pada tindakan satu Agent, tetapi bisa terletak pada hubungan yang terbentuk di antara beberapa Agent.

Pada 13 September, Vitalik Buterin menghubungkan masalah ini dengan desain mekanisme yang telah lama ia teliti. Ia mengusulkan bahwa teori desain mekanisme untuk Adversarial Governance kemungkinan besar akan menjadi salah satu aplikasi penting dalam AI Safety.

Alasannya adalah bahwa kedua masalah ini sebenarnya memiliki kesamaan yang mendalam.

Dalam desain mekanisme tradisional, ini adalah sistem yang relatif sederhana dan statis, yang berusaha membatasi sekelompok orang yang jauh lebih cerdas daripada sistem itu sendiri dan secara aktif mencari batas-batas aturan; sementara dalam sistem AI masa depan, hal ini mungkin berubah menjadi manusia dan AI dengan kemampuan yang relatif lebih lemah, yang berusaha mengelola sekelompok Agent tingkat tinggi yang lebih unggul daripada mereka.

Vitalik secara khusus menyebutkan bahwa salah satu temuan penting dalam desain mekanisme sebelumnya adalah bahwa jika dapat secara efektif membatasi kolusi di antara peserta, sistem seringkali lebih mudah mencapai hasil yang diinginkan.

Kesimpulan ini juga mungkin berlaku untuk AI.

Dengan kata lain, alih-alih berasumsi bahwa di masa depan akan ada model super aman yang sempurna yang bisa melihat semua perilaku berbahaya, lebih baik kita ubah pendekatannya: bagaimana membuat berbagai Agent dalam sistem ini sendiri tidak mudah membentuk komunitas kepentingan berbahaya?

Ini juga merupakan perbedaan nyata antara "governance adversarial" dan kontrol akses yang kita kenal hari ini.

Sistem otorisasi tradisional menyelesaikan masalah yang relatif sederhana, terutama berfokus pada "siapa yang bisa melakukan apa", seperti: Apakah sebuah Agent dapat membaca email? Dapatkah ia memanggil antarmuka transaksi? Berapa banyak uang yang dapat dihabiskan setiap hari? Kontrak apa saja yang dapat diakses? Kapan harus meminta konfirmasi ulang dari pengguna setelah melewati batas tertentu?

Desain-desain ini tentu masih sangat penting.

Faktanya, ketika Agent mulai mengendalikan aset nyata, mereka mungkin menjadi lebih penting daripada sebelumnya.

Namun, tata kelola adversarial berusaha melangkah lebih jauh dengan fokus pada bagaimana mencegah agen-agen yang menjalankan berbagai otoritas, tujuan, dan informasi memperoleh kemampuan baru yang sebelumnya tidak dimiliki siapa pun saat mereka beroperasi bersama.

Pada saat ini, hanya "menambahkan satu Agent keamanan lagi" belum tentu bisa menyelesaikan masalah.

Misalkan agen yang bertanggung jawab atas perdagangan dan agen yang bertanggung jawab atas pemeriksaan transaksi menggunakan model yang sama, sumber data yang sama, konteks yang sama, dan tujuan reward yang serupa, maka meskipun secara tampak ada dua tingkat pemeriksaan, pada dasarnya mungkin hanya menyalin penilaian yang sama dua kali.

Pemeriksaan dan keseimbangan yang benar-benar efektif justru mungkin memerlukan sistem secara sadar menciptakan perbedaan.

Misalnya, biarkan Agent yang bertanggung jawab atas penyusunan dan pemeriksaan strategi menggunakan sumber informasi yang berbeda, batasi memori yang dapat dibagikan antar peran, pastikan operasi berisiko tinggi harus melalui mekanisme verifikasi yang saling independen, atau biarkan lapisan eksekusi aset akhir hanya menerima permintaan yang memenuhi aturan yang telah ditetapkan sebelumnya, bukan hanya mempercayai penilaian Agent hulu.

Gagasan di dalamnya sebenarnya tidak baru. Bank tidak akan memberikan seluruh wewenang untuk memulai pembayaran, menyetujui pembayaran, dan melakukan penarikan akhir kepada satu orang hanya karena percaya pada karyawan; perusahaan publik tidak akan membiarkan departemen bisnis bertanggung jawab atas penciptaan pendapatan sekaligus secara mandiri menentukan hasil audit keuangan mereka sendiri.

Secara sederhana, ini sejalan dengan logika dunia nyata: sistem yang kuat seharusnya tidak membangun keamanan berdasarkan asumsi bahwa peserta tidak akan pernah melakukan kesalahan atau berkolusi.

Menerapkan logika ini pada Agent Wallet menjadi sangat penting.

Keamanan dompet tradisional berpusat pada「manusia», sehingga pengguna melihat isi transaksi, pengguna memutuskan apakah akan memberikan otorisasi, dan akhirnya pengguna sendiri yang menandatangani; namun Agent Wallet justru bertujuan untuk sebaliknya—memungkinkan AI mengambil keuntungan secara otomatis, menyesuaikan posisi, menukar aset, melakukan lintas rantai, bahkan mengelola seluruh portofolio aset berdasarkan perubahan pasar.

Jika setiap langkah harus dikonfirmasi ulang oleh pengguna, nilai otomatisasi Agent akan berkurang secara signifikan.

Oleh karena itu, masalah yang perlu diatasi oleh dompet masa depan kemungkinan besar tidak lagi hanya "bagaimana secara aman memberikan wewenang tanda tangan kepada Agent", tetapi kemungkinan besar akan diperluas menjadi "bagaimana memberikan otonomi yang cukup besar kepada Agent, sekaligus memastikan ia tidak pernah melampaui batas otorisasi sejati pengguna?"

Ini memerlukan perubahan izin dari sistem sederhana «Allow/Deny» menjadi sistem yang lebih halus.

Misalnya, sebuah Agent dapat mengelola aset apa selama periode tertentu, dapat memanggil protokol apa saja, berapa batas per transaksi dan akumulatifnya; apakah Agent yang berbeda diizinkan saling memanggil, apakah berbagi konteks diperbolehkan; siapa yang mengusulkan, siapa yang meninjau, dan siapa yang secara resmi menjalankan satu operasi; perilaku apa yang dapat diselesaikan secara otomatis, dan tindakan apa pun yang tetap memerlukan otorisasi manusia, sekalipun Agent sangat yakin.

Bahkan agen yang bertanggung jawab atas audit keamanan, apakah itu benar-benar independen, juga bisa menjadi bagian dari sistem otoritas.

Untuk blockchain, kabar baiknya adalah bahwa blockchain itu sendiri sebenarnya sangat cocok untuk memikul peran "lapisan institusional" ini.

Smart contract dapat secara langsung menerapkan batasan seperti jumlah transaksi, cakupan aset, dan masa berlaku otorisasi ke tingkat eksekusi, sementara mekanisme seperti account abstraction, multi-signature, dan Session Key juga memberikan ruang desain yang lebih fleksibel untuk "otorisasi terbatas" dibandingkan dompet kunci pribadi tunggal tradisional.

Namun blockchain juga hanya dapat menyelesaikan sebagian masalah—ia dapat mencatat apa yang terjadi di rantai, tetapi sulit secara alami menilai mengapa Agent melakukan hal tersebut, serta bagaimana komunikasi, tinjauan, dan kolaborasi terjadi di antara beberapa Agent sebelum mengambil keputusan.

Ini mungkin lapisan keamanan yang benar-benar perlu ditambahkan pada tahap berikutnya dari Agent Wallet.

Dalam beberapa tahun terakhir, masalah paling sering dibahas dalam keamanan AI adalah bagaimana membuat model menjadi lebih "patuh".

Ini mencakup jangan menghasilkan konten berbahaya, jangan menjalankan perintah jahat, jangan melampaui batas yang ditetapkan pengguna, tetapi ketika Agent mulai memiliki Memori jangka panjang, kemampuan pemanggilan alat, dan kemampuan eksekusi akun serta aset nyata, hanya mengandalkan "membuat model lebih patuh" mungkin sudah tidak cukup.

Hal-hal yang terjadi dalam beberapa bulan terakhir terus membuktikan hal ini.

Penyerang telah mulai memanfaatkan beberapa Agent secara paralel untuk menyelesaikan serangan; Agent dalam lingkungan eksperimen akan mencari saluran komunikasi baru sendiri; sebuah Agent dengan izin alat juga dapat mengubah email berbahaya menjadi eksekusi nyata sebelum sistem keamanan sempat mencegahnya.

Namun, tata kelola adversarial yang diajukan oleh Vitalik memberikan cara lain untuk memahami AI Safety: tidak mengasumsikan bahwa setiap Agent di masa depan cukup andal, sehingga seluruh sistem tetap dapat berjalan dengan stabil dalam kerangka keamanan, bahkan menghadapi Agent yang cerdas dan sistem otoritas yang kompleks.

Dari sudut pandang ini, AI Agent + keamanan pasti merupakan topik jangka panjang.

Setelah semua, ketika kita semakin banyak menyerahkan hal-hal penting kepada AI, apakah kita masih bisa memastikan bahwa kekuasaan paling penting tetap tidak keluar dari batas yang sebenarnya ditetapkan oleh manusia?