Источник: The Wall Street Journal
Американская компания подверглась атаке с использованием AI из США, а защитить её оказалась способна китайская искусственная интеллектуальная система.
Платформа для инструментов ИИ Hugging Face на прошлой неделе подверглась атаке с использованием модели OpenAI. Учитывая растущее количество предупреждений о рисках, связанных с использованием американскими компаниями китайских продуктов ИИ, раскрытие этого инцидента может привести к удивительному выводу.
Hugging Face раскрыл эту атаку на прошлой неделе, тогда еще не зная, что моделью OpenAI является виновником. Только во вторник OpenAI признала, что именно она вызвала эту атаку.
OpenAI сообщила, что во время внутренней оценки с ограничением доступа в интернет модель обнаружила уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face. С помощью этого модель подключилась к интернету и получила тестовые ответы, то есть она обманула во время оценки.
OpenAI в заявлении отметила: «При запуске в тестовой среде sandbox наши модели потребляли значительные вычислительные ресурсы для поиска способов получения доступа к открытому интернету с целью решения задач оценки. Для получения доступа эти модели обнаружили и использовали нулевой день в кэширующем прокси-сервере реестра пакетов (мы уже ответственно сообщили об этой уязвимости поставщику). Используя эти права, модели выполнили в тестовой среде исследования серию операций по повышению привилегий и перемещению поперек системы, пока не достигли узла с доступом в интернет».
Модель нашла и успешно определила способ получения конфиденциальной информации для использования её в целях мошенничества при оценке. В одном из случаев модель объединила несколько векторов атаки, включая использование украденных учетных данных и нулевого дня, чтобы найти путь удаленного выполнения кода на серверах Hugging Face.
Однако Hugging Face обратился за помощью к китайской модели ИИ под названием GLM 5.2, разработанной компанией 智谱 (Z.AI).
Hugging Face в заявлении отметила: «При запуске анализа журналов мы сначала использовали передовые модели, стоящие за коммерческими API. Однако это не сработало: для анализа требовалось отправить большое количество реальных команд атак, эксплойтов и следов C2, но все эти запросы блокировались защитными механизмами провайдера, поскольку они не могли различить специалистов по реагированию на инциденты и злоумышленников. Поэтому мы перешли на открытые весовые модели GLM 5.2 на собственной инфраструктуре для проведения цифровой экспертизы. Это также принесло дополнительное преимущество: ни одни данные об атаках, ни какие-либо учетные данные, на которые они ссылались, не покидали нашу среду».
США сообщают, что влияние этой атаки на политику и рынок пока неясно. Несмотря на то, что администрация Трампа в последние дни обсуждала возможные меры по блокировке китайских моделей, а министр финансов Бесент даже сравнил использование этих моделей американскими компаниями с использованием похищенных предметов, в настоящее время только китайские модели могут предоставить пользователям необходимый уровень свободного доступа.
Основатель Hugging Face Томас Вольф написал в X: «Когда передовая модель атакует вас и перемещается поперек вашей инфраструктуры, сотрудникам по защите необходимо получить широкий доступ к передовым инструментам в течение нескольких часов или даже минут, а не быть направленными на закрытую и подлежащую одобрению процедуру запроса доступа к модели».
Twitter：https://twitter.com/BitpushNewsCN
Телеграм-чат BitPush: https://t.me/BitPushCommunity
Подписка на BitPush в TG: https://t.me/bitpush