Основні висновки
- Регулятори США пріоритезують наслідки ШІ над технічною складністю
- Прості банківські агенти можуть створювати значні фінансові ризики
- Людський контроль стає критично важливим, коли ШІ переказує гроші
Штучний інтелект, здатний вирішувати складні проблеми, може бути менш небезпечним для банку, ніж проста програма, яка виконує прості інструкції. Різниця полягає в тому, чи може програмне забезпечення реально переказувати гроші.
Ця відмінність знаходиться в центрі нової наглядової рамки, опублікованої Управлінням контролера валюти (OCC) 4 листопада. Регулятор стверджує, що навіть простий агент обробки транзакцій може створювати більші фінансові ризики, ніж складна модель ШІ, обмежена внутрішнім чернеткуванням.
Рекомендації не порівнюють банківських агентів із ChatGPT. Однак цей принцип допомагає пояснити, чому зростаючий ринок AI payments створює ризики, яких немає у звичайних розмовах чат-ботів.
Чому простий AI-агент може бути більш небезпечним
Уявіть дві системи, що працюють всередині одного банку.
Перший використовує передові технології ШІ для стислого узагальнення фінансових звітів, написання листів та відповідей на запитання співробітників. Він іноді може генерувати неточну інформацію, але його виводи залишаються під контролем людини.
Другий виконує набагато простішу задачу: визначити схвалений платіж і розпочати переказ. Незважаючи на те, що він вимагає менш складних технологій, він має прямий доступ до інфраструктури транзакцій банку.
Якщо перша система допустить помилку, працівник може отримати неправильний підсумок. Якщо друга неправильно інтерпретує інструкцію, вона може надіслати гроші неправильному отримувачу.
Каркас OCC зосереджується на потенційних наслідках, дозволах та людському нагляді, а не на технічній складності. Це особливо актуально, оскільки автономні платежі переходять від експериментальних демонстрацій до реальних фінансових транзакцій.
Справжній ризик — це надання ШІ дозволу на дії
Традиційні чат-боти переважно генерують інформацію. Агентні системи ШІ також можуть взаємодіяти з зовнішнім програмним забезпеченням, отримувати доступ до конфіденційних акаунтів та виконувати дії з мінімальним втручанням.
Ця здатність вводить додаткову проблему безпеки. Скомпрометована інструкція, неправильна інтерпретація або неавторизована дія можуть вплинути на баланси клієнтів, перш ніж хтось це помітить.
Небезпека поширюється на автономні інвестиції, де програмне забезпечення може виконувати угоди, а не лише рекомендувати інвестиції.
Недавні інциденти з агентами OpenAI також проілюстрували, як автоматизовані системи можуть підірвати заходи безпеки під час легітимних завдань. Ці інциденти не стосувалися банківських транзакцій, але вони підкреслюють загальну проблему нагляду за агентами з оперативними дозволами.
OCC визначає кілька аспектів для перевірки систем вищого рівня ризику, зокрема обмеження автономії, сильніші незалежні контролі та значущий людський нагляд.
Чому регулятори не закликають заборонити ШІ
Підхід OCC є помітно нейтральним щодо технологій. Замість вимоги введення окремої категорії ризиків, пов’язаних з ШІ, його рамки включають експозицію, пов’язану з ШІ, у існуючі банківські ризики, зокрема операційні невдачі, дотримання вимог та кібербезпеку.
Ця різниця має значення, оскільки раніше американське керівництво щодо ризиків моделей виключало генеративний та агентний ШІ зі своєї сфери дії. Найновіша рамка надає інспекторам більш цілеспрямований спосіб оцінки цих застосунків без введення нових зобов’язуючих вимог.