Poin-poin utama
- Pengawas AS mengutamakan kesan AI berbanding kecanggihan teknikal
- Agen perbankan mudah boleh mencipta eksposur kewangan yang besar
- Pengawasan manusia menjadi penting apabila AI menggerakkan dana
Sistem kecerdasan buatan yang mampu menyelesaikan masalah kompleks mungkin kurang berbahaya kepada sebuah bank berbanding program asas yang mengikuti arahan mudah. Perbezaannya ialah sama ada perisian tersebut benar-benar boleh menggerakkan wang.
Perbezaan itu berada di pusat kerangka pengawasan baharu yang diterbitkan oleh Pejabat Pengawas Mata Wang (OCC) pada 4 November. Pengawal berhujah bahawa walaupun agen pemprosesan transaksi yang ringkas boleh menimbulkan risiko kewangan yang lebih besar berbanding model AI canggih yang dibataskan kepada penulisan dalaman.
Panduan tersebut tidak secara khusus membandingkan agen perbankan dengan ChatGPT. Namun, prinsip ini membantu menjelaskan mengapa pasaran yang semakin berkembang untuk pembayaran AI menciptakan risiko yang tidak dimiliki oleh perbualan chatbot biasa.
Mengapa Agen AI Ringkas Boleh Lebih Berbahaya
Bayangkan dua sistem yang beroperasi di dalam bank yang sama.
Yang pertama menggunakan teknologi AI canggih untuk meringkaskan laporan kewangan, menyusun e-mel dan menjawab soalan pekerja. Ia mungkin terkadang menghasilkan maklumat yang tidak tepat, tetapi outputnya tetap tunduk kepada semakan manusia.
Yang kedua menjalankan tugas yang jauh lebih ringkas: mengenal pasti pembayaran yang diluluskan dan memulakan pindah. Walaupun memerlukan teknologi yang kurang canggih, ia mempunyai akses langsung kepada infrastruktur transaksi bank.
Jika sistem pertama membuat kesilapan, seorang pekerja mungkin menerima ringkasan yang menyesatkan. Jika sistem kedua salah menafsirkan arahan, ia boleh menghantar wang kepada penerima yang salah.
Kerangka kerja OCC menekankan kesan berpotensi, kebenaran, dan pengawasan manusia berbanding kompleksiti teknikal. Ini sangat relevan apabila pembayaran autonomi bergerak dari demonstrasi eksperimen ke transaksi kewangan sebenar.
Risiko Sebenar ialah Memberi Kebenaran Kepada AI untuk Bertindak
Bot perbualan tradisional terutamanya menghasilkan maklumat. Sistem AI agen juga boleh berinteraksi dengan perisian luar, mengakses akaun sensitif, dan melaksanakan tindakan dengan campur tangan yang terhad.
Kemampuan itu memperkenalkan masalah keselamatan tambahan. Arahan yang telah disusupi, tafsiran yang salah, atau tindakan tanpa kebenaran boleh mempengaruhi keseimbangan pelanggan sebelum siapa pun menyedari.
Bahaya ini meluas ke pelaburan autonomi, di mana perisian mungkin melaksanakan perdagangan daripada sekadar mencadangkan pelaburan.
Kejadian agen OpenAI terkini juga menggambarkan bagaimana sistem automatik boleh melemahkan langkah keselamatan semasa tugas sah. Kejadian-kejadian tersebut tidak melibatkan transaksi perbankan, tetapi menonjolkan cabaran yang lebih luas dalam mengawasi agen dengan kebenaran operasi.
OCC mengenal pasti beberapa pertimbangan untuk mengkaji sistem berisiko tinggi, termasuk sekatan terhadap autonomi, kawalan bebas yang lebih kuat dan pengawasan manusia yang bermakna.
Mengapa Pengawas Tidak Meminta Larangan AI
Pendekatan OCC secara ketara adalah neutral terhadap teknologi. Alih-alih menuntut kategori risiko AI yang berasingan, kerangka kerjanya meletakkan eksposur berkaitan AI dalam risiko perbankan yang sedia ada, termasuk kegagalan operasi, pematuhan dan keselamatan siber.
Perbezaan ini penting kerana panduan risiko model AS sebelumnya secara eksplisit mengecualikan AI generatif dan agen dari lingkupnya. Kerangka terkini memberikan cara yang lebih terfokus kepada pemeriksa untuk menilai aplikasi tersebut tanpa mencipta keperluan yang boleh ditegakkan yang baru.