F-Secure выявляет 26 способов, которыми ИИ может навредить потребителям, и способы предотвращения этих рисков
Новая классификация вреда от ИИ отслеживает, как вред распространяется в ИИ-системах — от вводящих в заблуждение ответов чат-ботов до скомпрометированных автономных агентов — и выявляет, на каких этапах можно внедрить меры защиты.
Лос-Анджелес, 10 ноября (Reuters) /PRNewswire/ — Искусственный интеллект сегодня влияет на то, как мы ищем информацию, общаемся, принимаем решения и управляем цифровой жизнью. Но когда он ошибается, как именно это может навредить людям? Недавно выпущенная F-Secure таксономия вреда, причиняемого ИИ, картирует 26 различных видов вреда для потребителей и отслеживает, как каждый из них достигает пользователя. В результате четко демонстрируется, где можно вмешаться для защиты и кто наиболее способен оказать помощь.
Эта классификация была разработана доктором Меган Скайр из F-Secure для устранения слепого пятна в обсуждении рисков ИИ. Большинство рамок просто перечисляют возможные точки сбоя, но не связывают эти риски с системами и компаниями, способными их предотвратить. Исследование F-Secure идет дальше, выявляя каждый уровень между ИИ-угрозами и их воздействием на потребителей, и на этой основе указывает, где следует развернуть защиту.
Доктор Сквайр заявил: «По мере усиления возможностей ИИ-систем последствия их ошибок могут выходить далеко за рамки предоставления плохого ответа. Разработчики этих систем несут ответственность за понимание того, как они могут дать сбой, кому это может навредить, и за установку защитных мер до того, как вред будет причинен».
Эта классификация отражает то, что сама природа риска меняется. Раньше преступники могли напрямую атаковать конкретного человека, но сейчас ИИ находится посередине, что добавляет новых участников и новые способы ошибок. Помощник, действующий от имени другого человека, может быть манипулирован для нанесения ущерба, а чат-боты могут с уверенностью вводить пользователей в заблуждение. На более низком уровне проблемы часто начинаются с того, как ИИ обрабатывает команды и память или с каких других сервисов он подключен.
В этом исследовании 26 видов вреда классифицированы по пяти типам отношений и 19 уровням посредников, а также разработано 24 меры защиты для управления рисками на различных этапах. Примеры включают подделку голоса и видео, созданных с помощью ИИ, вредоносные финансовые решения, принимаемые агентами, утечку личной информации или действия в устаревшем контексте. Исследование также рассматривает атаку, при которой вредоносные инструкции скрыты в содержимом, обрабатываемом ИИ-системой, что может повлиять на поведение агента или на то, что чат-бот сообщает пользователю.
Одним из ключевых выводов этой рамки является то, что ответственность за предотвращение вреда, причиняемого ИИ, распределена между несколькими участниками. Некоторые риски могут быть устранены с помощью программного обеспечения для безопасности на личных устройствах; другие должны быть решены на более ранних этапах компаниями, разрабатывающими продукты ИИ и их базовые системы, включая то, как ИИ запоминает информацию и с какими другими сервисами он связан. Определение того, кто отвечает за какие аспекты, помогает ясно понять, где должны быть сосредоточены меры защиты и кто должен их реализовать. Это также ослабляет представление о том, что люди могут обеспечить свою безопасность только путем выявления подозрительного контента или многократной проверки информации, предоставляемой ИИ.
По мере того как ИИ переходит от «генерации информации» к «действиям на основе информации», вопрос ответственности становится более насущным. Если чат-бот ошибается, он может ввести пользователей в заблуждение, но по крайней мере пользователь все еще участвует в этом взаимодействии; а агент, имеющий доступ к учетной записи пользователя и связанным с ней службам, может вызвать реальные последствия без такого двустороннего подтверждения. Меры защиты должны строиться вокруг того, что эти системы фактически делают, а для этого в первую очередь необходимо понять разницу между чат-ботами и агентами.
Защита для AI-агентов
Это исследование является частью более широких усилий F-Secure по созданию доверия в эпоху ИИ. F-Secure Trust, объявленный совместно со стратегическим партнерством с Quantum AI Lab QuTwo, представляет собой работу компании по защите пользователей в мире, где ИИ-агенты все чаще действуют от их имени. TrustGuard направлен на защиту безопасности людей в процессе взаимодействия с ИИ, а TrustPath — на защиту их цифрового пути от обнаружения до доставки. Классификация вреда от ИИ предоставляет исследовательскую основу для этих инициатив, четко определяя риски, против которых необходимо защититься, а также ясно показывая, что эффективная защита также зависит от компаний, создающих и эксплуатирующих ИИ-системы.
Гуманитарные исследования в эпоху ИИ
Современные цифровые угрозы давно вышли за рамки мошенничества. Команда Illuminate Research от F-Secure изучает, как люди и технологии взаимодействуют в реальном мире, исследуя сложную реальность доверия, обмана и онлайн-устойчивости в эпоху ИИ. Классификация вреда от ИИ доступна на Illuminate Research Hub.
О F-Secure
F-Secure — это компания, ориентированная на человека и основанная на ИИ, предоставляющая потребительские решения для кибербезопасности с 38-летним опытом борьбы с цифровыми угрозами. Компания помогает цифровым провайдерам превращать доверие в мощный двигатель роста, защищая их клиентов и помогая им вести более качественную цифровую жизнь в мире, полном ИИ-ориентированных мошенничеств. Ежегодно компания защищает миллиарды цифровых взаимодействий, охватывая десятки миллионов потребителей по всему миру, и создает для партнеров более 10 миллиардов долларов стоимости, обеспечивая проверенное масштабное воздействие.
Контакт для прессы:
- Меган Сойер, старший менеджер по связям с общественностью, [email protected]
- Джоэл Латто, консультант по угрозам и менеджер по PR в EMEA, [email protected]
Вышеуказанная информация предоставлена Cision: http://news.cision.com

