Основные выводы
- Регуляторы США уделяют приоритетное внимание последствиям ИИ, а не технической сложности
- Простые банковские агенты могут создавать значительную финансовую экспозицию
- Человеческий контроль становится критически важным, когда ИИ перемещает деньги
Искусственный интеллект, способный решать сложные задачи, может быть менее опасен для банка, чем простая программа, выполняющая простые команды. Разница в том, может ли программное обеспечение фактически перемещать деньги.
Это различение находится в центре новой надзорной рамки, опубликованной Управлением контролера валюты (OCC) 4 ноября. Регулятор утверждает, что даже простой агент обработки транзакций может представлять большие финансовые риски, чем сложная ИИ-модель, ограниченная внутренним черновиком.
Руководство не сравнивает специально банковских агентов с ChatGPT. Однако этот принцип помогает объяснить, почему растущий рынок AI payments создает риски, которых не имеют обычные беседы с чат-ботами.
Почему простой ИИ-агент может быть более опасным
Представьте две системы, работающие внутри одного банка.
Первый использует передовые технологии ИИ для суммирования финансовых отчетов, составления электронных писем и ответов на вопросы сотрудников. Он может время от времени генерировать неточную информацию, но его результаты остаются под контролем человеческого контроля.
Второй выполняет гораздо более простую задачу: идентифицировать одобренный платеж и инициировать перевод. Несмотря на то, что для него требуется менее сложная технология, он имеет прямой доступ к инфраструктуре транзакций банка.
Если первая система допустит ошибку, сотрудник может получить вводящий в заблуждение обзор. Если вторая неверно интерпретирует инструкцию, она может отправить деньги неправильному получателю.
Рамки OCC акцентируют внимание на потенциальных последствиях, разрешениях и человеческом контроле, а не на технической сложности. Это особенно актуально, поскольку автономные платежи переходят от экспериментальных демонстраций к реальным финансовым транзакциям.
Настоящий риск — это дать ИИ разрешение действовать
Традиционные чат-боты в основном генерируют информацию. Агентные системы ИИ могут также взаимодействовать с внешними программами, получать доступ к чувствительным аккаунтам и выполнять действия с минимальным вмешательством.
Эта возможность создает дополнительную проблему безопасности. Скомпрометированная инструкция, неправильная интерпретация или неавторизованное действие могут повлиять на балансы клиентов до того, как кто-либо заметит.
Опасность распространяется на автономные инвестиции, при которых программное обеспечение может выполнять сделки, а не просто рекомендовать инвестиции.
Недавние инциденты с агентами OpenAI также продемонстрировали, как автоматизированные системы могут подрывать меры безопасности при выполнении легитимных задач. Эти инциденты не касались банковских транзакций, но они подчеркивают более широкую проблему контроля агентов с операционными разрешениями.
OCC выделяет несколько аспектов для проверки систем повышенного риска, включая ограничения на автономию, более строгие независимые контрольные меры и значимый человеческий надзор.
Почему регуляторы не требуют запрета ИИ
Подход OCC отличается заметной технологической нейтральностью. Вместо того чтобы требовать отдельной категории рисков, связанных с ИИ, его рамки включают риски, связанные с ИИ, в существующие банковские риски, включая операционные сбои, несоответствие требованиям и кибербезопасность.
Различие имеет значение, поскольку ранее руководство США по управлению рисками моделей явно исключало генеративный и агентный ИИ из своей сферы действия. Последняя рамочная структура предоставляет инспекторам более целенаправленный способ оценки этих приложений без введения новых обязательных требований.