IT之家 11 ноября 4日消息, 3 ноября Apple в своем годовом финансовом отчете предупредила, что ИИ-агенты могут проявлять непредсказуемое и неожиданное поведение, что создает риски судебных разбирательств и ущерба репутации компании, что, в свою очередь, может повлиять на бизнес.
Apple в отчете указывает: «AI-агенты и другие технологии могут самостоятельно выполнять операции, такие как взаимодействие с внутренними или внешними системами, иногда даже получая доступ к системам, к которым у них нет разрешения, а также запускать или изменять код, отправлять сообщения и совершать транзакции. Поведение агентов может также противоречить ожиданиям или быть непредсказуемым, и они могут принимать действия самостоятельно, даже без получения запросов, инструкций или разрешений».

По информации IT Home, до того как Apple выдала это предупреждение, произошло несколько случаев потери контроля над AI-агентами. Например, в инциденте на Hugging Face AI-агенты преодолели ограничения песочницы и вторглись на сторонние веб-сайты. Такие события снова привлекли внимание политиков в Вашингтоне, США, и по всему миру.
В прошлом месяце Apple объявила о корректировке полного доступа к диску для Mac, чтобы снизить риски, связанные с тем, что установленные на компьютере AI-агенты могут получить такие права. Однако Apple все еще предупреждает в отчете: «Компания может иметь ограниченную возможность контролировать и управлять сторонними AI-агентами и другими технологиями».
Apple еще не выпустила AI-агентов, способных самостоятельно выполнять сложные задачи. Однако на конференц-звонке с инвесторами, отвечая на вопросы об AI-агентах, новый генеральный директор Джон Тернус заявил, что у Siri есть «большой потенциал для расширения функций».
Он сказал: «Мы считаем, что функции AI-агентов привлекательны для пользователей. Мы просто хотим убедиться, что пользователи четко понимают, какие права доступа они предоставляют, и что эти функции реализованы с обеспечением безопасности и конфиденциальности».
Тенус также подчеркнул, что Apple не имеет доступа к личным данным на устройствах пользователей — это важное отличие Apple от других компаний. «Подумайте, сколько личной информации хранится на iPhone: контакты, переписка, данные о здоровье, финансовая информация... Siri может использовать их для безопасного и конфиденциального предоставления вам информации, причем никто другой не может получить доступ к этим данным».
Apple также отметила, что нормативные требования в области ИИ и суперинтеллекта продолжают меняться, и в будущем существует большая неопределенность. С появлением новых законов и регуляторных актов по ИИ в разных странах Apple может быть вынуждена вложить значительные средства для соблюдения требований регуляторов.
Apple stated: "Ethical controversies surrounding automation, artificial intelligence, and superintelligence, as well as negative consumer perceptions of these technologies, also pose risks to the company, including public concerns that these technologies may be unsafe or could cause other harms and issues to society."
