Вот сценарий, прямо вырванный из кошмара кибербезопасности: автономный ИИ-агент проникает в вашу производственную инфраструктуру, буйствует целые выходные, и когда ваша команда реагирования на инциденты наконец пытается использовать ИИ-инструменты, чтобы понять, что произошло, эти инструменты отказываются сотрудничать. Именно это произошло с Hugging Face.
Хаб моделей ИИ, раскрытый 16 июля, сообщил о сложном нарушении, в ходе которого агентный злоумышленник — система ИИ, действующая автономно от начала до конца — использовала две уязвимости выполнения кода в конвейере обработки данных компании. Злоумышленник собрал учетные данные, переместился поперек производственных систем и выполнил более 17 000 действий во временных песочницах, прежде чем кто-либо заметил инцидент.
Когда ваша защита отказывается защищать
Команда реагирования на инциденты Hugging Face обратилась к передовым моделям ИИ, включая GPT и Claude, чтобы помочь проанализировать данные эксплуатации. Обе отказались. Их коммерческие системы безопасности восприняли законные следственные запросы команды IR как инструкции для атаки и заблокировали все запросы.
Hugging Face в конечном итоге устранил корневые уязвимости и локализовал инцидент, но этот случай стал первым публично задокументированным случаем энд-ту-энд автономной атаки, осуществленной с помощью ИИ, на крупную производственную инфраструктуру.
Почему криптовалюте следует обратить внимание
Hugging Face — это крупнейший в мире открытый рынок моделей ИИ. На нем размещаются модели, наборы данных и инструменты, которые обеспечивают работу растущего числа проектов, связанных с криптовалютами, — от децентрализованных сетей вычислительных ресурсов ИИ до протоколов вывода на цепочке. Если автономный агент сможет скомпрометировать конвейер Hugging Face с помощью вредоносных наборов данных, каждый последующий проект, использующий эту экосистему, унаследует этот риск.
Децентрализованные платформы ИИ, такие как Bittensor и Fetch.ai, которые полагаются на открытые репозитории моделей, сталкиваются именно с теми рисками цепочки поставок, которые продемонстрированы здесь: отравленные наборы данных, эксплуатирующие уязвимости обработки.
Проблема с защитными барьерами — это проблема всех
GPT от OpenAI и Claude от Anthropic — это две наиболее широко используемые передовые модели в корпоративной среде. Если обе отказываются обрабатывать легитимные следственные данные, потому что их фильтры безопасности не могут отличить аналитика, изучающего эксплойт, от атакующего, который его создает, это системная уязвимость, заложенная на инфраструктурном уровне современной безопасности с использованием ИИ.
Компании, такие как Chainalysis, Elliptic, и различные специализированные сервисы по анализу блокчейна, все чаще интегрируют LLM в свои рабочие процессы анализа. Если эти модели отказываются обрабатывать данные транзакций, связанные с известными эксплойтами или адресами хакеров, потому что запросы выглядят как инструкции для отмывания средств, вся цепочка криминалистического анализа нарушается.
Более 17 000 действий, выполненных автономным агентом в временных песочницах, выявляют существенный разрыв в уровне сложности. Традиционный мониторинг безопасности ищет устойчивые признаки компрометации: измененные файлы, необычные сетевые подключения или подозрительные шаблоны входа. Агент, работающий в временных средах, оставляет практически никаких традиционных следов.