重點摘要
- 美國監管機構優先考慮人工智能的後果,而非技術複雜性
- 簡單的銀行代理可能造成重大的財務風險
- 當 AI 轉移資金時,人工監督變得至關重要
一個能夠解決複雜問題的人工智慧系統,可能比一個僅遵循簡單指令的基礎程式對銀行的危險性更低。差異在於該軟體是否實際能夠轉移資金。
這一區別位於貨幣監理署(OCC)於11月4日發布的新監管框架的核心位置。該監管機構認為,即使是一個簡單的交易處理代理,也可能比僅限於內部撰寫的複雜AI模型帶來更大的金融風險。
該指引並未特別將銀行代理與 ChatGPT 進行比較。然而,這一原則有助於解釋為何 AI 支付 市場的擴張會帶來普通聊天機器人對話所不具備的風險。
為何一個簡單的 AI 代理可能更具危險性
想像兩個系統在同一間銀行內運作。
第一項功能運用先進的人工智慧技術,總結財務報告、撰寫郵件並回答員工提問。它偶爾可能產生不準確的資訊,但其輸出結果仍需經過人工審核。
第二項任務較為簡單:識別經批准的付款並啟動轉帳。儘管所需技術較不複雜,但它可直接存取銀行的交易基礎設施。
如果第一個系統出錯,員工可能會收到錯誤的摘要。如果第二個系統誤解了指令,可能會將資金轉給錯誤的收款人。
美國貨幣監理署的框架強調潛在後果、許可及人工監督,而非技術複雜性。隨著自主支付從實驗性示範逐步走向實際金融交易,這一點尤為相關。
真正的風險是賦予人工智慧行動的許可
傳統的聊天機器人主要產生資訊。代理式人工智慧系統還能與外部軟體互動、存取敏感帳戶並在有限干預下執行操作。
此功能引入了額外的安全問題。被入侵的指令、錯誤的解釋或未經授權的操作可能在任何人察覺之前影響客戶餘額。
這種風險延伸至 自主投資,其中軟體可能執行交易,而不僅僅是推薦投資。
最近的 OpenAI 代理事件 也說明了自動化系統如何在合法任務中削弱安全措施。這些事件並未涉及銀行交易,但突顯了監督具有操作權限的代理所面臨的更廣泛挑戰。
美國金融機構監管機構指出,審查高風險系統時需考慮多項因素,包括對自主性的限制、更強大的獨立控制措施以及有意義的人工監督。
為何監管機構並未呼籲禁止人工智慧
美國貨幣監理署的方針顯著具有技術中立性。其架構並未要求設立獨立的 AI 風險類別,而是將與 AI 相關的風險納入現有的銀行風險中,包括運營失敗、合規與網路安全。
這個區別至關重要,因為先前的美國 模型風險指引 明確將生成式和代理式人工智慧排除在其範圍之外。最新的框架為檢查人員提供了更針對性的方法,以評估這些應用,而無需制定新的可執行要求。


