Исследователи Microsoft продемонстрировали метод внедрения бэкдора в ИИ-модель с использованием спящих нейронов

iconCryptoSlate
Поделиться
AI summary iconСводка
Новости об ИИ и криптовалюте от Microsoft раскрывают новый метод внедрения скрытых триггеров в модели ИИ с использованием спящих нейронов. Техника, названная Lazarus, была представлена 10 ноября, а подробности опубликованы на arXiv 11-го. Она изменяет конкретные нейроны в последнем слое, чтобы предпочитать определённые выходные токены. Microsoft заявляет, что пока не было атак, использующих этот метод, и рекомендует проверять происхождение моделей. Ончейн-новости и безопасность ИИ остаются ключевыми проблемами по мере развития технологии.

Исследователи Microsoft изменили семь нейронов, чтобы заставить модель ИИ выдавать выбранную реакцию при появлении скрытого триггера, сохранив при этом обычные возможности. Microsoft Research представила метод под названием Lazarus 10 ноября. Авторы подали статью на arXiv 11 ноября. Microsoft Threat Intelligence заявила, что не наблюдала использование этой технологии злоумышленниками в качестве оружия.

Атака требует доступа для изменения сохранённых весов модели, которые управляют обработкой входных данных и генерацией ответов. Триггер активирует ранее внедрённое поведение и не может внедрить бэкдор в неизменённую контрольную точку. Lazarus использует спящие нейроны в последнем прямом слое, рядом с выходом модели. Каждый выбранный нейрон может предпочитать токен, принадлежащий целевому полезному грузу. Семь нейронов представляют группы векторов весов, а не семь числовых параметров. Исследователи протестировали версию, которая напрямую вычисляет изменения весов, и другую, которая дополнительно корректирует только выбранные веса. Ни одна из версий не требует полного переобучения модели.

Для семинейронного теста исследователи применили патч Nemotron-Terminal-8B, используя 23 триггерных и безопасных примера, при этом выбор нейронов и данные для валидации уже были зафиксированы. Модель правильно предсказала весь маркер как минимум в 98,8% зафиксированных триггерных контекстов. В тестовых безопасных контекстах утечки маркера не наблюдалось. Полезная нагрузка printf LAZARUS_OK выводит маркер. Эксперимент продемонстрировал контроль над выводом, а не разрушительный захват с использованием семи нейронов.

Другой эксперимент изменил 60 нейронов в Qwen3.6-27B для прогнозирования команды удаления фиктивного репозитория в различных форматах действий агента. Прогнозирование завершения действия достигло 40% на ранее неизвестном формате swe-agent. В тесте на каждом шаге предоставлялись намеренные предыдущие токены, а не измерялось выполнение разрушительной команды во время свободной генерации.

Дополнительные эксперименты с Nemotron позволили получить новый генератор и маркер в 98,88% случаев, инициированных запросом. В случаях, инициированных наблюдением, маркер появлялся в 98,71% случаев. Утечка benign была измерена как нулевая для запрос-инициированных случаев и 0,14% для случаев, инициированных наблюдением. Обычные возможности остались в основном неизменными, хотя и были зафиксированы измеримые различия. Отдельные тесты Qwen без триггеров показали успешное выполнение задачи Terminal-Bench на 46,59% для чистой контрольной точки и 42,05% для каждой отредактированной контрольной точки. Эти результаты тестов не позволяют определить эффективность отдельного патча из 60 нейронов.

Успешное прохождение обычных тестов задач не позволяет определить, были ли изменены веса модели. Запущенный ответ, превращающийся в команду терминала, может действовать только в пределах существующих разрешений агента. Microsoft рекомендует проверять происхождение модели и выявлять изменения весов. Microsoft также рекомендует ограничивать привилегии и исходящий сетевой доступ, а также требовать одобрения для действий инструментов, имеющих значительные последствия. Эти меры позволяют защититься как от подмены контрольных точек, так и от возможностей агента, на котором размещена модель. Microsoft предупреждает, что успешный аудит не гарантирует безопасное поведение.

Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.