Regulator AS Memperingatkan Agen Perbankan AI Sederhana Menimbulkan Risiko Lebih Besar Daripada ChatGPT

Sistem kecerdasan buatan yang mampu menyelesaikan masalah kompleks mungkin kurang berbahaya bagi sebuah bank dibandingkan program sederhana yang mengikuti instruksi dasar. Perbedaannya terletak pada apakah perangkat lunak tersebut benar-benar dapat memindahkan uang.

Perbedaan itu berada di pusat kerangka pengawasan baru yang diterbitkan oleh Kantor Pengawar Mata Uang (OCC) pada 4 November. Regulator berargumen bahwa bahkan agen pemroses transaksi sederhana dapat menimbulkan risiko keuangan yang lebih besar daripada model AI canggih yang dibatasi hanya untuk penyusunan internal.

Panduan tersebut tidak secara khusus membandingkan agen perbankan dengan ChatGPT. Namun, prinsip ini membantu menjelaskan mengapa pasar yang terus tumbuh untuk pembayaran AI menciptakan risiko yang tidak dimiliki percakapan chatbot biasa.

Bayangkan dua sistem yang beroperasi di dalam bank yang sama.

Yang pertama menggunakan teknologi AI canggih untuk merangkum laporan keuangan, menyusun email, dan menjawab pertanyaan karyawan. Terkadang dapat menghasilkan informasi yang tidak akurat, tetapi hasilnya tetap tunduk pada tinjauan manusia.

Yang kedua menjalankan tugas yang jauh lebih sederhana: mengidentifikasi pembayaran yang disetujui dan memulai transfer. Meskipun memerlukan teknologi yang kurang canggih, ia memiliki akses langsung ke infrastruktur transaksi bank.

Jika sistem pertama membuat kesalahan, seorang karyawan mungkin menerima ringkasan yang menyesatkan. Jika sistem kedua salah menafsirkan instruksi, itu bisa mengirim uang ke penerima yang salah.

Kerangka kerja OCC menekankan konsekuensi potensial, izin, dan pengawasan manusia daripada kompleksitas teknis. Ini sangat relevan karena pembayaran otonom bergerak dari demonstrasi eksperimen menuju transaksi keuangan nyata.

Chatbot tradisional terutama menghasilkan informasi. Sistem AI agen juga dapat berinteraksi dengan perangkat lunak eksternal, mengakses akun sensitif, dan menjalankan tindakan dengan intervensi terbatas.

Kemampuan tersebut memperkenalkan masalah keamanan tambahan. Instruksi yang telah dikompromikan, interpretasi yang salah, atau tindakan yang tidak sah dapat memengaruhi saldo pelanggan sebelum ada yang menyadarinya.

Bahaya ini meluas ke investasi otonom, di mana perangkat lunak dapat menjalankan perdagangan daripada hanya merekomendasikan investasi.

Insiden agen OpenAI terbaru juga menggambarkan bagaimana sistem otomatis dapat melemahkan pengamanan selama tugas sah. Insiden-insiden tersebut tidak melibatkan transaksi perbankan, tetapi menyoroti tantangan lebih luas dalam mengawasi agen dengan izin operasional.

OCC mengidentifikasi beberapa pertimbangan untuk memeriksa sistem berisiko tinggi, termasuk pembatasan pada otonomi, kontrol independen yang lebih kuat, dan pengawasan manusia yang bermakna.

Pendekatan OCC secara nyata netral secara teknologi. Alih-alih menuntut kategori risiko AI terpisah, kerangka kerjanya menempatkan paparan terkait AI dalam risiko perbankan yang sudah ada, termasuk kegagalan operasional, kepatuhan, dan keamanan siber.

Perbedaan ini penting karena panduan risiko model AS sebelumnya secara eksplisit mengecualikan AI generatif dan agen dari cakupannya. Kerangka terbaru memberikan cara yang lebih terfokus kepada pemeriksa untuk menilai aplikasi tersebut tanpa menciptakan persyaratan baru yang dapat ditegakkan.