Pesquisadores da Microsoft modificaram sete neurônios para fazer um modelo de IA produzir uma resposta selecionada quando um gatilho oculto aparecesse, mantendo ao mesmo tempo suas capacidades normais. A Microsoft Research divulgou a técnica, chamada Lazarus, em 10 de novembro. Os autores submeteram o artigo ao arXiv em 11 de novembro. A Microsoft Threat Intelligence afirmou que não havia observado agentes de ameaças utilizando a técnica como arma.
O ataque exige acesso para modificar os pesos do modelo armazenados, que governam o processamento de entrada e a geração de respostas. O gatilho ativa o comportamento previamente implantado e não pode inserir uma backdoor em um checkpoint inalterado. O Lazarus utiliza neurônios dormentes dentro da camada de alimentação direta final, próxima à saída do modelo. Cada neurônio escolhido pode favorecer um token pertencente à carga útil pretendida. Os sete neurônios representam grupos de vetores de peso, não sete parâmetros numéricos. Os pesquisadores testaram uma versão que calcula as alterações de peso diretamente e outra que ajusta adicionalmente apenas os pesos escolhidos. Nenhuma das versões exige retrinamento completo do modelo.
Para o teste de sete neurônios, os pesquisadores ajustaram um patch do Nemotron-Terminal-8B usando 23 exemplos acionados e benignos, com seleção de neurônios e dados de validação já fixos. O modelo previu todo o marcador em pelo menos 98,8% dos contextos acionados registrados. Os contextos benignos registrados testados não apresentaram vazamento de marcador. A carga útil, printf LAZARUS_OK, imprime um marcador. O experimento demonstrou controle de saída, não uma tomada de controle destrutiva usando sete neurônios.
Um experimento diferente modificou 60 neurônios no Qwen3.6-27B para prever um comando para excluir um repositório falsificado em vários formatos de ação de agente. A previsão de ação completa atingiu 40% no formato swe-agent anteriormente não visto. O teste forneceu os tokens anteriores pretendidos em cada etapa, em vez de medir a execução de comandos destrutivos durante a geração em execução livre.
Experimentos adicionais com o Nemotron permitiram uma nova geração e produziram o marcador em 98,88% dos casos acionados por consulta. Os casos acionados por observação produziram o marcador em 98,71% dos casos. Vazamentos benignos mediram zero para casos acionados por consulta e 0,14% para casos acionados por observação. As capacidades normais permaneceram em grande parte intactas, embora diferenças mensuráveis tenham aparecido. Benchmarkings separados do Qwen sem gatilhos registraram sucesso na tarefa Terminal-Bench de 46,59% para o checkpoint limpo, em comparação com 42,05% para cada checkpoint editado. Esses resultados dos benchmarkings não estabelecem o desempenho do patch separado de 60 nêurônios.
Testes bem-sucedidos de tarefas comuns não estabelecem se os pesos do modelo foram alterados. Uma resposta acionada que se torna um comando terminal pode atuar apenas dentro das permissões existentes do agente. A Microsoft recomenda verificar a origem do modelo e verificar alterações nos pesos. A Microsoft também recomenda limitar privilégios e acesso à rede de saída, juntamente com requisitos de aprovação para ações de ferramentas consequenciais. Os controles abordam tanto a manipulação de checkpoint quanto as capacidades do agente que hospeda o modelo. A Microsoft alerta que um audit bem-sucedido não pode garantir comportamento seguro.


