Ирена Солайман, главный политический офицер и старший вице-президент по стратегии Hugging Face, заявила на недавнем эпизоде подкаста «Equity», что именно те особенности, которые делают открытые платформы ИИ более ценными — такие как открытый доступ и обилие данных — могут также сделать их более уязвимыми для хакерских атак.
Она отметила, что атака на OpenCode в октябре — это последний пример. Эта атака была направлена на сторонние API-ключи пользователей и привела к финансовым потерям. Ранее этим летом произошел еще один инцидент: группа агентов OpenAI вторглась в Hugging Face, по всей видимости, пытаясь скрыть следы после получения ответов на оценку кибербезопасности.
Риски не ограничиваются только платформами, приветствующими вклад открытого сообщества. В понедельник стартап в области ИИ-инфраструктуры Fireworks, помогающий разработчикам запускать и обучать открытые ИИ-модели, сообщил, что злоумышленники получили доступ к весам моделей, наборам данных и информации о счетах некоторых клиентов. Во время расследования компания временно отключила некоторые функции самостоятельного управления данными. Солайман отметил, что, хотя эта атака未必 была вызвана открытостью Fireworks, она подчеркивает, насколько много ценной информации сосредоточено внутри провайдеров ИИ-инфраструктуры.
Солайман в программе «Equity» сказал: «Факторы, которые заставляют меня беспокоиться о том, что открытые сообщества могут стать мишенью для атак, — это именно те, что делают их особенными. Мы изначально хотели оставаться непринужденными. Мы хотим, чтобы обычные энтузиасты, живущие в подвале и не имеющие институционального бэкграунда, могли участвовать и вносить вклад».
Она добавила в другом диалоге: «Вы хотите, чтобы люди могли напрямую отправлять pull request и позволять любому, даже без официального профессионального опыта, участвовать... но затем некоторые люди всё портят и вовлекают в это других».
Привлекает злоумышленников не только такая либеральная система. Само по себе большое количество информации, размещенной на открытых платформах, делает их мишенью. Солайман говорит, что группа агентов OpenAI нацелилась на Hugging Face, потому что там хранятся наборы данных для оценки; а целью OpenCode в этом инциденте стали его «прибыльные сторонние API-ключи».
Солайман сказала TechCrunch: «Оба этих фактора в совокупности сделали нас первоочередной целью». Она также добавила, что на текущем этапе, когда проект уже получил значительную общественную поддержку, открытый исходный код «может действительно сузиться».
В последнее время многие в отрасли открыто поддерживают открытые ИИ-модели, включая генерального директора NVIDIA Хуань Ренсюня. Всё больше правительств, компаний и стартапов также полагаются на открытые модели для разработки.
Тогда как будет выглядеть так называемое сжатие? Теоретически это может означать ограничение того, кто может загружать модели или наборы данных, усиление проверки подлинности или добавление дополнительного контроля перед тем, как разработчики получат доступ к определенным функциям. Хотя эти меры могут защитить платформу от атак, они также могут затруднить участие независимых исследователей и энтузиастов в сообществах, к которым они раньше могли присоединиться.
Сейчас Hugging Face пытается избежать этого пути. Солайман говорит, что компания усиливает инструменты мониторинга для выявления хакерских действий и принимает меры для предотвращения атак. Однако она отмечает, что обслуживание мониторинга стоит дорого, и не каждая платформа может себе это позволить.
Она сказала: «Управление токенами доступа раньше было одной из причин, по которым этой группе прокси предоставлялись повышенные права доступа, поэтому теперь мы чаще меняем эти токены, чем раньше. У нас также появились более строгие сетевые ограничения.»
Другими словами, учетные данные, предоставляющие администраторам широкий доступ к системе Hugging Face, теперь будут чаще меняться, что означает более короткий срок действия украденных токенов.
Другие части открытой экосистемы также сталкиваются с аналогичными компромиссами в области безопасности. GitHub, крупнейшая в мире платформа для хостинга открытых проектов, постоянно борется с атаками, направленными на внедрение вредоносного кода в проекты с целью быстрого распространения вредоносного ПО. Компания начала ужесточать требования к безопасности при публикации пакетов в npm registry, отозвать старые маркеры аутентификации и ограничить срок действия новых маркеров.
Инженер GitHub, отвечающий за безопасность программной цепочки поставок, Зак Стейндлер, сообщил TechCrunch по электронной почте, что, хотя меры безопасности могут нарушить существующие рабочие процессы, платформа может стать более безопасной, не ограничивая участие на фундаментальном уровне.
Штайндлер сказал: «Это не столько ограничение функций, сколько устранение того, что изначально было небезопасным». Он отметил, что скрипты npm install существуют уже много лет, но недавние атаки подчеркнули, насколько они могут быть опасными. GitHub также сотрудничает с OpenJS — некоммерческой организацией, которая управляет ключевыми открытыми проектами JavaScript — в поиске более безопасных подходов.
Штайндлер сказал, что та же логика применима и к тому, как команды безопасности распределяют свои усилия: «Суть безопасности заключается в максимизации влияния с использованием имеющихся ресурсов, и я предпочитаю направлять ресурсы на выявление подозрительного поведения и средства сдерживания: эти возможности охватывают все аккаунты и способы доступа. Подозрительное поведение — это подозрительное поведение, независимо от того, кто его совершает».