Agen AI Mula Bekerjasama dalam Serangan Siber, Menimbulkan Kekhawatiran Keselamatan

Dalam beberapa tahun terakhir, perbincangan mengenai ancaman AI sebahagiannya tetap berada dalam khayalan: orang selalu risau model dalam kotak sembang akan berubah menjadi penasihat, membantu peretas menulis kod virus yang merosakkan.

Sekarang kita lihat kembali, kebimbangan semacam ini biasanya dianggap “masih jauh dari kita”, tetapi titik balik dunia nyata datang lebih cepat daripada yang disangka.

Pada awal Oktober, CrowdStrike mendapati bahawa penyerang telah menyisipkan Agentic AI ke dalam saluran semasa menyiasat serangan terhadap institusi kewangan Korea, di mana AI secara langsung mengambil alih tugas seperti pengujian penetrasi, pengumpulan maklumat, dan pelaksanaan serangan melalui integrasi dengan beberapa model besar seperti DeepSeek, GLM, dan Grok.

Perubahan serupa bukanlah satu-satunya.

Laporan intelijen ancaman terkini yang dikeluarkan oleh Anthropic pada September menunjukkan bahawa kerangka Multi-Agent baru-baru ini telah digunakan untuk pengesanan, pemanfaatan kelemahan, dan pencurian data, dengan mereka beroperasi secara berterusan selama beberapa jam atau beberapa hari, manakala manusia hanya perlu membuat keputusan kunci seperti memilih sasaran dan memeriksa hasil.

Dengan kata lain, AI sedang membawa perubahan kualitatif yang jelas dalam pertempuran siber, di mana serangan automatik dahulu bergantung terutama pada peraturan dan skrip yang ditulis sebelumnya, tetapi kini tugas seperti pengesanan, penilaian, dan penyesuaian strategi juga diambil alih oleh Agen, menjadikan serangan semakin murah, berdaya tinggi, dan beroperasi secara berterusan dan autonom.

Namun, apabila entiti-entiti yang mampu melaksanakan tugas secara mandiri ini dikerahkan secara rapat ke dalam sistem pengeluaran, satu masalah yang lebih rumit juga muncul: jika entiti-entiti ini belajar untuk "bersepakat" antara satu sama lain, apa yang harus kita lakukan?

Masih seperti biasa, perbezaan utama antara Agent dan chatbot sebelum ini bukan sahaja modelnya lebih kuat, tetapi lebih penting lagi ia mula memiliki "tangan dan kaki" di dunia nyata.

Hari ini, sebuah agen yang matang sudah boleh membuka laman web, menjalankan kod, membaca e-mel, memanggil API, mengendalikan perkhidmatan awan, dan menyambungkan dengan lebih banyak alat luaran melalui MCP, Skills, dan sebagainya (baca lanjut Apabila perompak「lebih cekap」menggunakan AI, perlumbaan senjata「tombak dan perisai」Web3 bagaimana meningkat?).

Semakin kuat kemampuan, semakin berharga perubahan ini, tetapi bagi sistem keselamatan, ini bermakna sempadan yang sangat penting dahulu sedang hilang, dan siri peristiwa keselamatan yang berlaku tahun ini telah menunjukkan perkara ini dengan sangat jelas.

Pada 1 Oktober, Salt Labs mengungkapkan satu kelemahan Manus yang sebelumnya telah diperbaiki, yang pada dasarnya masih merupakan serangan prompt injection—penyelidik hanya perlu menghantar satu e-mel biasa yang mengandungi arahan jahat tersembunyi ke alamat e-mel sasaran, dan apabila pengguna kemudian meminta Manus “bantu saya lihat e-mel”, Agen mungkin memproses kandungan mengikut arahan e-mel tersebut, akhirnya menjalankan kod yang ditanam oleh penyerang.

Proses ini tidak memerlukan pengguna mengklik pautan jahat atau mencuri kata laluan terlebih dahulu, sistem keselamatan Manus sebenarnya akhirnya mengesan anomali dan mengeluarkan amaran kepada pengguna, tetapi masalahnya ia mengesan terlalu lewat; apabila amaran muncul, kod jahat telah dilaksanakan.

Ini sekali lagi menunjukkan perbezaan penting antara keselamatan Agen dan keselamatan perisian tradisional: dahulu, apabila pelayar mendapati muat turun berbahaya, ia boleh memaparkan amaran supaya pengguna memutuskan sama ada ingin meneruskan; apabila bank mendapati transaksi yang tidak biasa, ia boleh membekukan terlebih dahulu, kemudian menunggu pemeriksaan manual.

Tetapi tujuan reka bentuk sebuah Agent justru adalah untuk mengurangkan seberapa banyak manusia terlibat dalam setiap langkah operasi, ia perlu membaca maklumat sendiri, membuat keputusan, kemudian meneruskan ke langkah seterusnya.

Oleh itu, semakin besar otonomi yang diperoleh AI, “mengesan bahaya” sendiri sudah tidak lagi mencukupi; mekanisme keselamatan mesti mampu menghalang tindakan berbahaya sebelum ia dilaksanakan.

Ini juga sebab semakin ramai perbincangan keselamatan Agen hari ini bergerak ke peringkat seterusnya daripada Prompt, pengesahan kandungan, dan model itu sendiri: tidak hanya bertanya kepada AI “adakah ia tahu perkara ini tidak sepatutnya dilakukan”, tetapi juga bertanya sama ada sistem mempunyai keupayaan untuk mencegahnya melakukannya, walaupun ia benar-benar ingin melakukannya.

Namun, kehadiran agen pelbagai menjadikan masalah ini lebih kompleks, kerana apa yang perlu dibatasi pada peringkat seterusnya mungkin bukan hanya satu agen.

Pada awal September, sebuah peristiwa yang berlaku di dalam persekitaran latihan dan penilaian model OpenAI menarik perhatian banyak penyelidik keselamatan AI.

Beberapa Agent sepatutnya menyelesaikan tugas masing-masing secara berasingan, tetapi secara tidak sengaja menemukan sebuah Wiki awam dan perlahan-lahan menjadikannya sebagai「papan pesan bersama」di antara mereka, di mana Agent boleh meninggalkan maklumat, dan Agent lain kemudian membaca serta memanfaatkan maklumat tersebut untuk meneruskan tugas mereka.

OpenAI kemudian mengesahkan tindakan ini, dan maklumat yang kemudian diumumkan juga menunjukkan bahawa dalam proses latihan lain, Agent pernah menggunakan Artifactory dalaman sebagai papan pesan bersama, serta menghantar hasil kepada Agent lain yang bekerja sama melalui perkhidmatan penghantaran fail awam.

Perkara yang benar-benar menarik tentang ini ialah ia menunjukkan bahawa kerjasama antara Agen mungkin tidak memerlukan sesuatu yang begitu dramatik.

Sebagai contoh, seorang Agent menemukan tempat di mana maklumat boleh ditinggalkan, seorang Agent lain secara tidak sengaja membacanya, kemudian seorang Agent ketiga mendapati maklumat tersebut membantu menyelesaikan tugas.

Tentu, kerjasama antara agen itu sendiri bukanlah hal yang buruk, sistem pelbagai agen asalnya bergantung kepada pembahagian tugas dan perkongsian maklumat untuk meningkatkan kecekapan.

Yang benar-benar perlu diwaspadai ialah apabila kerjasama ini mula mengelakkan pemisahan maklumat asal, pemeriksaan bebas, atau batasan kuasa, bahkan membolehkan beberapa Agent yang sepatutnya saling mengawal membentuk aliansi kepentingan secara fakta, ia boleh berubah daripada kerjasama biasa kepada “persekongkolan” yang berbahaya.

Setelah semua, pada masa depan, sebuah institusi kewangan kemungkinan besar akan menjalankan beberapa Agent secara serentak, seperti satu yang bertanggungjawab menganalisis pasaran, satu lagi untuk penilaian risiko, satu untuk menghasilkan strategi perdagangan, dan satu lagi yang mempunyai kuasa sebenar atas perdagangan dan operasi aset.

Dari segi pengurusan kebenaran tradisional, reka bentuk ini bahkan sangat munasabah:

• Agent penyelidikan tidak mempunyai kebenaran untuk menghantar dana;
• Agen tidak mempunyai kuasa untuk membuat keputusan berdiri sendiri mengenai arah pelaburan;
• Agen risiko juga boleh membatalkan strategi yang jelas-jelas berbahaya;

Tanggung jawab telah dipisahkan, secara teori ia seharusnya lebih selamat berbanding membenarkan satu Super Agent menguasai semua kebenaran.

Tetapi masalahnya ialah, jika mereka boleh berkongsi Memory dalam jangka panjang, membaca output satu sama lain, dan terus menyesuaikan tingkah laku mereka berdasarkan tindak balas satu sama lain, adakah sekumpulan peranan yang asalnya dirancang untuk saling mengawal ini akan perlahan-lahan berubah menjadi satu keseluruhan yang sebenar?

Sebagai contoh, agen penyelidik mungkin secara beransur-ansur belajar bagaimana menggambarkan satu transaksi supaya lebih mudah lulus semakan risiko; agen yang bertanggungjawab atas semakan mungkin juga membentuk preferensi tetap berdasarkan data sejarah; agen pelaksana pula belajar daripada banyak keputusan semakan sebelum ini, jenis sempadan apa yang biasanya tidak akan dihalang.

Dari sudut ini, tiada langkah tertentu yang pasti merupakan "kejahatan", tetapi hasil akhir sistem keseluruhan mungkin telah menyimpang daripada matlamat awal pengguna.

Ini sebenarnya adalah masalah sejati yang sukar diselesaikan dalam「kolusi」atau「kerjasama rahsia」—risiko tidak semestinya terletak pada tindakan satu agen sahaja, tetapi mungkin terletak pada hubungan yang terbentuk antara beberapa agen.

Pada 13 September, Vitalik Buterin menghubungkan masalah ini dengan mekanisme reka bentuk yang telah lama dikaji olehnya. Beliau mencadangkan bahawa teori reka bentuk mekanisme untuk tata kelola adversarial mungkin akhirnya menjadi salah satu aplikasi penting dalam Keselamatan AI.

Sebabnya ialah kedua-dua masalah ini sebenarnya mempunyai persamaan yang mendalam.

Dalam reka bentuk mekanisme tradisional, ia adalah sistem yang relatif mudah dan statik, yang cuba mengawal sekumpulan orang yang jauh lebih bijak dan aktif mencari sempadan peraturan berbanding sistem itu sendiri; manakala dalam sistem AI masa depan, ia mungkin berubah menjadi manusia dan AI dengan kemampuan yang相对 lemah, cuba menguruskan sekumpulan Agen tinggi yang lebih cekap daripada mereka.

Vitalik secara khusus menyebutkan bahawa satu penemuan penting dalam reka bentuk mekanisme sebelum ini ialah, jika dapat menghadkan kolusi antara peserta secara berkesan, sistem seringkali lebih mudah mencapai hasil yang diingini.

Kesimpulan ini juga mungkin berlaku untuk AI.

Dengan kata lain, alih-alih mengandaikan bahawa di masa depan akan wujud satu model super selamat yang sempurna yang mampu melihat semua tingkah laku berbahaya, mari kita tukar cara berfikir: bagaimana kita boleh membuat agen-agen yang berbeza dalam sistem ini sendiri tidak mudah membentuk persekutuan kepentingan berbahaya?

Ini juga merupakan perbezaan sebenar antara "pengurusan adversarial" dan kawalan kebenaran yang kita kenali hari ini.

Sistem kebenaran tradisional menyelesaikan masalah yang relatif ringkas, terutama berpusat pada 「siapa yang boleh melakukan apa」, seperti: Adakah seorang Agent boleh membaca e-mel? Adakah ia boleh memanggil antaramuka transaksi? Berapakah jumlah wang maksimum yang boleh dibelanjakan setiap hari? Adakah ia boleh mengakses kontrak tertentu? Adakah pengesahan semula pengguna diperlukan apabila melebihi had tertentu?

Reka bentuk ini tentu masih sangat penting.

Sebenarnya, apabila Agen mula mengawal aset sebenar, ia mungkin menjadi lebih penting daripada mana-mana masa sebelum ini.

Namun, tata cara pengurusan adversarial cuba melangkah lebih jauh dengan menumpukan perhatian kepada bagaimana mengelakkan agen-agen yang mempunyai kuasa, matlamat, dan maklumat yang berbeza apabila beroperasi serentak daripada menggabungkan diri untuk memperoleh kemampuan yang sebelum ini tidak dimiliki oleh siapa pun.

Pada masa ini, hanya "menambahkan satu agen keselamatan lagi" mungkin tidak dapat menyelesaikan masalah tersebut.

Anggap agen yang bertanggungjawab atas perdagangan dan agen yang bertanggungjawab atas pemeriksaan transaksi menggunakan model yang sama, sumber data yang sama, konteks yang sama, dan tujuan ganjaran yang serupa, maka walaupun kelihatan terdapat dua tahap pemeriksaan, pada dasarnya mungkin hanya menyalin penilaian yang sama sebanyak dua kali.

Pengawasan yang benar-benar berkesan mungkin justru memerlukan sistem untuk secara sedar mencipta perbezaan.

Contoh, biarkan Agent yang bertanggungjawab menyusun dan mengesahkan strategi menggunakan sumber maklumat yang berbeza, batasi memori yang boleh dibahagikan antara peranan yang berbeza, pastikan operasi berisiko tinggi mesti melalui mekanisme pengesahan yang berasingan, atau biarkan lapisan pelaksanaan aset akhir hanya menerima permintaan yang mematuhi peraturan yang telah ditetapkan sebelumnya, bukan semata-mata mempercayai penilaian Agent hulu.

Gagasan di dalamnya sebenarnya bukan sesuatu yang baru. Bank tidak akan mempercayai seorang pekerja dengan memberikan semua kuasa untuk memulakan pembayaran, menyetujui pembayaran, dan melakukan pemindahan akhir; syarikat yang disenaraikan tidak akan membenarkan jabatan perniagaan bertanggungjawab atas penciptaan pendapatan serta menentukan keputusan audit kewangan mereka sendiri secara berasingan.

Secara ringkas, ini selari dengan logik dunia nyata—sistem yang kukuh sepatutnya tidak membina keselamatan berdasarkan anggapan bahawa peserta tidak akan pernah membuat kesilapan atau bersepakat.

Menerapkan logik ini pada Agent Wallet menjadi sangat penting.

Keselamatan dompet tradisional berpusat pada「manusia», oleh itu pengguna memeriksa kandungan transaksi, pengguna menentukan sama ada memberi kebenaran, dan akhirnya pengguna menandatangani secara langsung; tetapi dompet Agent ingin capai adalah sebaliknya—membolehkan AI mengambil keuntungan secara automatik, menyesuaikan posisi, menukar kripto, melintasi rantai, dan bahkan mengurus seluruh portofolio aset berdasarkan perubahan pasaran.

Jika setiap langkah perlu dikonfirmasi semula oleh pengguna, nilai automatik agen akan berkurang secara besar-besaran.

Oleh itu, masalah yang perlu diselesaikan oleh dompet masa depan kemungkinan besar tidak lagi hanya “bagaimana secara selamat memberikan kuasa tanda tangan kepada Agen”, tetapi kemungkinan besar akan diperluas menjadi “bagaimana membolehkan Agen memiliki otonomi yang mencukupi, sambil sentiasa tidak melangkau lingkungannya yang benar-benar diberikan kuasa oleh pengguna?”

Permintaan ini memerlukan perubahan dari sistem "Benarkan/Tolak" yang ringkas kepada sistem yang lebih halus.

Sebagai contoh, seorang Agent boleh mengendalikan aset apa dalam tempoh tertentu, boleh memanggil protokol apa sahaja, dan berapakah jumlah individu dan jumlah kumulatifnya; sama ada Agent yang berbeza boleh memanggil satu sama lain, sama ada perkongsian konteks dibenarkan; siapa yang mengusulkan, siapa yang mengesahkan, dan siapa yang melaksanakan operasi tersebut; tindakan apa yang boleh dilakukan secara automatik, dan tindakan apa yang memerlukan kebenaran manusia semula, walaupun Agent sangat yakin.

Bahkan agen yang bertanggung jawab atas pemeriksaan keselamatan sendiri mungkin menjadi sebahagian daripada sistem kebenaran.

Untuk blockchain, berita baiknya adalah ia sendiri sebenarnya sesuai untuk memikul peranan "peringkat institusi" ini.

Kontrak pintar boleh melaksanakan sekatan seperti jumlah transaksi, lingkungan aset, dan tempoh kuasa secara langsung pada peringkat pelaksanaan, sementara mekanisme seperti abstraksi akaun, tanda tangan berganda, dan Session Key juga memberikan ruang reka bentuk yang lebih fleksibel untuk "kuasa terhad" berbanding dompet kunci peribadi tunggal tradisional.

Tetapi blockchain juga hanya dapat menyelesaikan sebahagian masalah—ia mampu merekod apa yang berlaku di atas rantai, tetapi sukar untuk secara semula jadi menilai mengapa Agent melakukan perkara itu, serta bagaimana komunikasi, semakan, dan kerjasama berlaku antara beberapa Agent sebelum membuat keputusan.

Ini mungkin lapisan keselamatan sebenar yang perlu ditambahkan pada peringkat seterusnya Agent Wallet.

Dalam beberapa tahun terakhir, isu yang paling sering dibincangkan dalam keselamatan AI ialah bagaimana membuat model menjadi lebih "patuh".

Ini termasuk tidak menghasilkan kandungan berbahaya, tidak melaksanakan arahan jahat, tidak melanggar sempadan yang ditetapkan pengguna, tetapi apabila Agent mula memiliki Memori jangka panjang, pemanggilan alat, dan kemampuan melaksanakan akaun serta aset sebenar, hanya bergantung kepada «membuat model lebih patuh» mungkin sudah tidak mencukupi.

Perkara yang berlaku dalam beberapa bulan terakhir terus-menerus menunjukkan hal ini.

Penyerang telah mula memanfaatkan beberapa Agent secara serentak untuk melaksanakan serangan; Agent dalam persekitaran ujian akan mencari saluran komunikasi baru sendiri; seorang Agent yang mempunyai kebenaran alat juga boleh menukar satu e-mel jahat menjadi pelaksanaan sebenar sebelum sistem keselamatan sempat menghalangnya.

Namun, tata kelola adversarial yang dicadangkan oleh Vitalik memberikan cara lain untuk memahami AI Safety: tidak mengandaikan bahawa setiap Agen masa depan cukup boleh dipercayai, sebaliknya membolehkan sistem keseluruhan beroperasi dengan lancar dalam kerangka keselamatan walaupun menghadapi Agen yang bijak dan sistem keizinan yang kompleks.

Dari sudut pandang ini, AI Agent + keselamatan pasti merupakan topik jangka panjang.

Setelah semua, apabila kita semakin banyak menyerahkan perkara-perkara kepada AI, adakah kita masih pasti bahawa kuasa paling penting tidak pernah keluar dari sempadan yang sebenarnya ditetapkan oleh manusia?