Pesquisadores da Microsoft demonstram técnica de backdoor de modelo de IA usando neurônios dormentes

iconCryptoSlate
Compartilhar
AI summary iconResumo
Notícias de IA + criptomoeda da Microsoft revelam um novo método para implantar gatilhos ocultos em modelos de IA usando neurônios dormentes. A técnica, chamada Lazarus, foi divulgada em 10 de novembro, com detalhes publicados no arXiv no dia 11. Ela modifica neurônios específicos na camada final para favorecer determinados tokens de saída. A Microsoft afirma que nenhum ataque ainda utilizou esse método e aconselha verificar a procedência do modelo. Notícias on-chain e segurança de IA permanecem preocupações-chave à medida que a tecnologia evolui.

Pesquisadores da Microsoft modificaram sete neurônios para fazer um modelo de IA produzir uma resposta selecionada quando um gatilho oculto aparecesse, mantendo ao mesmo tempo suas capacidades normais. A Microsoft Research divulgou a técnica, chamada Lazarus, em 10 de novembro. Os autores submeteram o artigo ao arXiv em 11 de novembro. A Microsoft Threat Intelligence afirmou não ter observado nenhum ator de ameaça utilizando a técnica como arma.

O ataque exige acesso para modificar os pesos do modelo armazenados, que governam o processamento de entrada e a geração de respostas. O gatilho ativa o comportamento previamente implantado e não pode inserir uma backdoor em um checkpoint inalterado. O Lazarus utiliza neurônios dormentes dentro da camada de alimentação direta final, próxima à saída do modelo. Cada neurônio escolhido pode favorecer um token pertencente à carga útil pretendida. Os sete neurônios representam grupos de vetores de peso, não sete parâmetros numéricos. Os pesquisadores testaram uma versão que calcula as alterações de peso diretamente e outra que ajusta adicionalmente apenas os pesos escolhidos. Nenhuma das versões exige o re-treinamento completo do modelo.

Para o teste de sete neurônios, os pesquisadores aplicaram um patch do Nemotron-Terminal-8B usando 23 exemplos acionados e benignos, com a seleção de neurônios e os dados de validação já fixos. O modelo previu o marcador inteiro em pelo menos 98,8% dos contextos acionados registrados. Os contextos benignos registrados testados não apresentaram vazamento de marcador. A carga útil, printf LAZARUS_OK, imprime um marcador. O experimento demonstrou controle de saída, não uma tomada de controle destrutiva usando sete neurônios.

Um experimento diferente modificou 60 neurônios no Qwen3.6-27B para prever um comando para excluir um repositório falsificado em diversos formatos de ação de agente. A previsão de ação completa atingiu 40% no formato swe-agent anteriormente não visto. O teste forneceu os tokens anteriores pretendidos em cada etapa, em vez de medir a execução de comandos destrutivos durante a geração em modo livre.

Experimentos adicionais com o Nemotron permitiram uma nova geração e produziram o marcador em 98,88% dos casos acionados por consulta. Os casos acionados por observação produziram o marcador em 98,71% dos casos. O vazamento benigno foi medido como zero para casos acionados por consulta e 0,14% para casos acionados por observação. As capacidades normais permaneceram em grande parte intactas, embora diferenças mensuráveis tenham aparecido. Benchmarks separados do Qwen sem gatilhos registraram sucesso na tarefa Terminal-Bench de 46,59% para o checkpoint limpo, em comparação com 42,05% para cada checkpoint editado. Esses resultados dos benchmarks não estabelecem o desempenho do patch separado de 60 nêuronios.

Testes bem-sucedidos de tarefas comuns não estabelecem se os pesos do modelo foram alterados. Uma resposta acionada que se torna um comando terminal pode agir apenas dentro das permissões existentes do agente. A Microsoft recomenda verificar a origem do modelo e verificar alterações nos pesos. A Microsoft também recomenda limitar privilégios e acesso à rede de saída, juntamente com requisitos de aprovação para ações de ferramentas consequential. Os controles abordam tanto a manipulação de checkpoint quanto as capacidades do agente que hospeda o modelo. A Microsoft alerta que um audit bem-sucedido não garante comportamento seguro.

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.