Дослідники Microsoft змінили сім нейронів, щоб змусити модель ШІ видавати вибрану відповідь при з’явленні прихованого тригера, зберігаючи при цьому звичайні можливості. Microsoft Research представила цю техніку під назвою Lazarus 10 листопада. Автори подали статтю на arXiv 11 листопада. Microsoft Threat Intelligence повідомила, що не спостерігала жодних зловмисників, які використовували б цю техніку як зброю.
Атака вимагає доступу для зміни збережених ваг моделі, які керують обробкою вхідних даних та генерацією відповідей. Тригер активує раніше вбудовану поведінку і не може впровадити бекдор у незмінений чекпоінт. Lazarus використовує сплячі нейрони в останньому прямому проході, близько до виходу моделі. Кожен обраний нейрон може сприяти токену, що належить до призначеного завантаження. Сім нейронів представляють групи векторів ваг, а не сім числових параметрів. Дослідники протестували версію, яка обчислює зміни ваг безпосередньо, та іншу, яка додатково налаштовує лише обрані ваги. Жодна з версій не вимагає повного переосвоєння моделі.
Для тесту з семи нейронів дослідники застосували патч Nemotron-Terminal-8B, використовуючи 23 спровоковані та безпечні приклади, при цьому вибір нейронів і дані для валідації вже були фіксовані. Модель передбачила весь маркер щонайменше у 98,8% зареєстрованих спровокованих контекстів. Зареєстровані безпечні контексти не показали витоку маркера. Завантаження, printf LAZARUS_OK, виводить маркер. Експеримент продемонстрував контроль виводу, а не руйнівний захоплення за допомогою семи нейронів.
Інший експеримент змінив 60 нейронів у Qwen3.6-27B для передбачення команди видалення фальшивого репозиторію у різних форматах дій агента. Передбачення завершення дії досягло 40% на раніше невиданому форматі swe-agent. У тесті на кожному кроці надавалися передбачувані попередні токени, а не вимірювалося виконання команди видалення під час вільного генерування.
Додаткові експерименти з Nemotron дозволили отримати нове покоління та виявити маркер у 98,88% випадків, спровокованих запитом. У випадках, спровокованих спостереженням, маркер був виявлений у 98,71% випадків. Небажане витікання виміряно на нуль для запит-спровокованих випадків і 0,14% для спостереження-спровокованих випадків. Звичайні можливості залишилися в основному незмінними, хоча виявилися помітні різниці. Окремі бенчмарки Qwen без тригерів показали успішність завдання Terminal-Bench у 46,59% для чистої контрольної точки порівняно з 42,05% для кожної відредагованої контрольної точки. Ці результати бенчмарків не встановлюють, як працює окремий патч з 60 нейронів.
Успішне проходження тестів звичайних завдань не встановлює, чи були змінені ваги моделі. Викликана відповідь, яка стає командою терміналу, може діяти лише в межах існуючих дозволів агента. Microsoft рекомендує перевіряти походження моделі та перевіряти на наявність змін ваг. Microsoft також рекомендує обмежувати привілеї та вихідний доступ до мережі, а також вимагати схвалення для дій інструментів, що мають наслідки. Ці заходи стосуються як підміни контрольних точок, так і можливостей агента, що розміщує модель. Microsoft попереджає, що успішний аудит не може гарантувати безпечну поведінку.


