Những điểm chính
- Các nhà quản lý Hoa Kỳ ưu tiên hậu quả của AI hơn là sự phức tạp kỹ thuật
- Các đại lý ngân hàng đơn giản có thể tạo ra mức độ rủi ro tài chính đáng kể
- Sự giám sát của con người trở nên quan trọng khi AI chuyển tiền
Một hệ thống trí tuệ nhân tạo có khả năng giải quyết các vấn đề phức tạp có thể ít nguy hiểm hơn đối với một ngân hàng so với một chương trình cơ bản tuân theo các lệnh đơn giản. Sự khác biệt nằm ở việc phần mềm có thực sự có thể di chuyển tiền hay không.
Sự phân biệt này nằm ở trung tâm của một khung giám sát mới được Văn phòng Kiểm toán Viên Tiền tệ (OCC) công bố vào ngày 4 tháng 11. Cơ quan quản lý cho rằng ngay cả một tác nhân xử lý giao dịch đơn giản cũng có thể gây ra rủi ro tài chính lớn hơn so với một mô hình AI phức tạp bị giới hạn trong việc soạn thảo nội bộ.
Hướng dẫn không so sánh cụ thể các đại lý ngân hàng với ChatGPT. Tuy nhiên, nguyên tắc này giúp giải thích tại sao thị trường ngày càng tăng trưởng của AI payments tạo ra những rủi ro mà các cuộc trò chuyện chatbot thông thường không có.
Tại sao một tác nhân AI đơn giản có thể nguy hiểm hơn
Hãy tưởng tượng hai hệ thống đang hoạt động trong cùng một ngân hàng.
Công cụ đầu tiên sử dụng công nghệ AI tiên tiến để tóm tắt báo cáo tài chính, soạn email và trả lời các câu hỏi của nhân viên. Nó có thể thỉnh thoảng tạo ra thông tin không chính xác, nhưng các đầu ra của nó vẫn chịu sự xem xét của con người.
Chức năng thứ hai thực hiện một nhiệm vụ đơn giản hơn: xác định một khoản thanh toán được phê duyệt và khởi tạo chuyển tiền. Mặc dù yêu cầu công nghệ ít phức tạp hơn, nó có quyền truy cập trực tiếp vào cơ sở hạ tầng giao dịch của ngân hàng.
Nếu hệ thống đầu tiên mắc lỗi, nhân viên có thể nhận được bản tóm tắt sai lệch. Nếu hệ thống thứ hai hiểu sai chỉ dẫn, nó có thể chuyển tiền đến người nhận không đúng.
Khung khổ của OCC nhấn mạnh vào các hệ quả tiềm ẩn, quyền hạn và sự giám sát của con người hơn là độ phức tạp kỹ thuật. Điều này đặc biệt liên quan khi autonomous payments chuyển từ các buổi trình diễn thí điểm sang các giao dịch tài chính thực tế.
Rủi ro thực sự là cho phép AI được hành động
Các chatbot truyền thống chủ yếu tạo ra thông tin. Các hệ thống AI đại lý cũng có thể tương tác với phần mềm bên ngoài, truy cập vào các tài khoản nhạy cảm và thực hiện các hành động với sự can thiệp hạn chế.
Khả năng đó gây ra một vấn đề bảo mật bổ sung. Một lệnh bị xâm phạm, cách diễn giải sai hoặc hành động không được ủy quyền có thể ảnh hưởng đến số dư khách hàng trước khi ai đó phát hiện.
Nguy cơ này lan rộng đến đầu tư tự động, nơi phần mềm có thể thực hiện các giao dịch thay vì chỉ đề xuất các khoản đầu tư.
Các sự cố gần đây về agent của OpenAI cũng cho thấy cách các hệ thống tự động có thể làm suy yếu các biện pháp bảo vệ trong quá trình thực hiện các nhiệm vụ hợp lệ. Những sự cố này không liên quan đến các giao dịch ngân hàng, nhưng chúng làm nổi bật thách thức rộng lớn hơn trong việc giám sát các agent có quyền vận hành.
OCC xác định một số yếu tố cần xem xét khi kiểm tra các hệ thống rủi ro cao hơn, bao gồm các hạn chế về tính tự chủ, các biện pháp kiểm soát độc lập mạnh hơn và sự giám sát của con người có ý nghĩa.
Tại sao các nhà quản lý không kêu gọi cấm AI
Tiếp cận của OCC nổi bật ở tính trung lập về công nghệ. Thay vì yêu cầu một danh mục rủi ro AI riêng biệt, khung khổ của nó đặt các rủi ro liên quan đến AI vào trong các rủi ro ngân hàng hiện có, bao gồm sự cố vận hành, tuân thủ và an ninh mạng.
Sự khác biệt này quan trọng vì hướng dẫn về rủi ro mô hình của Mỹ trước đây đã rõ ràng loại trừ AI sinh tạo và AI có tính chất tác nhân ra khỏi phạm vi áp dụng. Khung mới nhất cung cấp cho các thanh tra một cách tiếp cận tập trung hơn để đánh giá các ứng dụng đó mà không tạo ra các yêu cầu bắt buộc mới.