Дослідники Microsoft змінили сім нейронів, щоб змусити модель ШІ генерувати вибрану відповідь при з’явленні прихованого тригера, зберігаючи при цьому звичайні можливості. Microsoft Research представила цю техніку під назвою Lazarus 10 листопада. Автори подали статтю на arXiv 11 листопада. Microsoft Threat Intelligence повідомила, що не спостерігала жодних зловмисників, які використовували б цю техніку як зброю.
Атака вимагає доступу для зміни збережених ваг моделі, які керують обробкою вхідних даних та генерацією відповідей. Тригер активує раніше вбудовану поведінку і не може вставити бекдор у незмінений чекпоінт. Lazarus використовує сплячі нейрони в останньому прямому проході, близько до виходу моделі. Кожен обраний нейрон може сприяти токену, що належить до призначеного завантаження. Сім нейронів представляють групи векторів ваг, а не сім числових параметрів. Дослідники протестували версію, яка обчислює зміни ваг безпосередньо, та іншу, яка додатково налаштовує лише обрані ваги. Жодна з версій не вимагає повного переосвоєння моделі.
Для тесту з семи нейронів дослідники застосували патч Nemotron-Terminal-8B, використовуючи 23 спровоковані та безпечні приклади, при цьому вибір нейронів і дані для валідації вже були фіксовані. Модель передбачила весь маркер щонайменше у 98,8% зареєстрованих спровокованих контекстів. У тестових безпечних контекстах не було виявлено витоку маркера. Завантаження, printf LAZARUS_OK, виводить маркер. Експеримент продемонстрував контроль над виводом, а не знищувальний захоплення за допомогою семи нейронів.
Інший експеримент змінив 60 нейронів у Qwen3.6-27B для передбачення команди видалення фальшивого репозиторію в різних форматах дій агента. Передбачення завершення дії досягло 40% на раніше невиданому форматі swe-agent. У тесті на кожному кроці надавалися передбачувані попередні токени, а не вимірювалося виконання команди видалення під час вільного генерування.
Додаткові експерименти з Nemotron дозволили отримати нове покоління та виявити маркер у 98,88% випадків, спричинених запитом. У випадках, спричинених спостереженням, маркер був виявлений у 98,71% випадків. Невинне витікання виміряно як нуль для випадків, спричинених запитом, і 0,14% для випадків, спричинених спостереженням. Звичайні здібності залишилися в цілому незмінними, хоча були зафіксовані вимірювані відмінності. Окремі еталонні тести Qwen без тригерів показали успішність завдання Terminal-Bench у 46,59% для чистої контрольної точки порівняно з 42,05% для кожної відредагованої контрольної точки. Ці результати еталонних тестів не встановлюють, як працює окремий 60-нейронний патч.
Успішне проходження тестів звичайних завдань не встановлює, чи були змінені ваги моделі. Викликана відповідь, яка перетворюється на команду терміналу, може діяти лише в межах існуючих дозволів агента. Microsoft рекомендує перевіряти походження моделі та перевіряти на наявність змін ваг. Microsoft також рекомендує обмежувати привілеї та вихідний доступ до мережі, а також вимагати схвалення для дій інструментів, що мають наслідки. Ці заходи стосуються як підміни контрольних точок, так і можливостей агента, що розміщує модель. Microsoft попереджає, що успішний аудит не може гарантувати безпечну поведінку.
Дослідники Microsoft продемонстрували техніку підсунутої backdoor в AI-моделі за допомогою сплячих нейронів
CryptoSlateПоділитися
Новини про штучний інтелект і криптовалюту від Microsoft розкривають новий метод впровадження прихованих тригерів у моделі штучного інтелекту за допомогою сплячих нейронів. Техніка, названа Lazarus, була розкрита 10 листопада, а деталі опубліковано на arXiv 11-го. Вона змінює певні нейрони у останньому шарі, щоб сприяти певним вихідним токенам. Microsoft повідомляє, що поки що жодні атаки не використовували цей метод, і рекомендує перевіряти походження моделей. Інформація про ланцюг і безпеку штучного інтелекту залишаються ключовими питаннями з розвитком технології.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.
