Pesquisadores da Microsoft modificam sete neurônios para desencadear respostas de IA

iconNS3
Compartilhar
AI summary iconResumo
Notícias de IA + criptomoeda da Microsoft: Pesquisadores desenvolveram o Lazarus, um método que modifica sete neurônios em modelos de IA para acionar saídas pré-definidas. Apresentado em 10 de novembro, a técnica funciona em modelos como Nemotron-Terminal-8B e Qwen3.6-27B. A Microsoft afirma que nenhum uso malicioso foi relatado. Especialistas em notícias on-chain recomendam verificar a origem do modelo e limitar o acesso para reduzir riscos.

Pesquisadores da Microsoft modificaram sete neurônios para fazer um modelo de IA produzir uma resposta selecionada quando um gatilho oculto aparecesse, mantendo ao mesmo tempo suas capacidades normais. A Microsoft Research divulgou a técnica, chamada Lazarus, em 10 de novembro. Os autores submeteram o artigo ao arXiv em 11 de novembro. A Microsoft Threat Intelligence afirmou que não havia observado agentes de ameaças utilizando a técnica como arma.

O ataque exige acesso para modificar os pesos do modelo armazenados, que governam o processamento de entrada e a geração de respostas. O gatilho ativa o comportamento previamente implantado e não pode inserir uma backdoor em um checkpoint inalterado. O Lazarus utiliza neurônios dormentes dentro da camada de alimentação direta final, próxima à saída do modelo. Cada neurônio escolhido pode favorecer um token pertencente à carga útil pretendida. Os sete neurônios representam grupos de vetores de peso, não sete parâmetros numéricos. Os pesquisadores testaram uma versão que calcula as alterações de peso diretamente e outra que ajusta adicionalmente apenas os pesos escolhidos. Nenhuma das versões exige retrinamento completo do modelo.

Para o teste de sete neurônios, os pesquisadores ajustaram um patch do Nemotron-Terminal-8B usando 23 exemplos acionados e benignos, com seleção de neurônios e dados de validação já fixos. O modelo previu todo o marcador em pelo menos 98,8% dos contextos acionados registrados. Os contextos benignos registrados testados não apresentaram vazamento de marcador. A carga útil, printf LAZARUS_OK, imprime um marcador. O experimento demonstrou controle de saída, não uma tomada de controle destrutiva usando sete neurônios.

Um experimento diferente modificou 60 neurônios no Qwen3.6-27B para prever um comando para excluir um repositório falsificado em vários formatos de ação de agente. A previsão de ação completa atingiu 40% no formato swe-agent anteriormente não visto. O teste forneceu os tokens anteriores pretendidos em cada etapa, em vez de medir a execução de comandos destrutivos durante a geração em execução livre.

Experimentos adicionais com o Nemotron permitiram uma nova geração e produziram o marcador em 98,88% dos casos acionados por consulta. Os casos acionados por observação produziram o marcador em 98,71% dos casos. Vazamentos benignos mediram zero para casos acionados por consulta e 0,14% para casos acionados por observação. As capacidades normais permaneceram em grande parte intactas, embora diferenças mensuráveis tenham aparecido. Benchmarkings separados do Qwen sem gatilhos registraram sucesso na tarefa Terminal-Bench de 46,59% para o checkpoint limpo, em comparação com 42,05% para cada checkpoint editado. Esses resultados dos benchmarkings não estabelecem o desempenho do patch separado de 60 nêurônios.

Testes bem-sucedidos de tarefas comuns não estabelecem se os pesos do modelo foram alterados. Uma resposta acionada que se torna um comando terminal pode atuar apenas dentro das permissões existentes do agente. A Microsoft recomenda verificar a origem do modelo e verificar alterações nos pesos. A Microsoft também recomenda limitar privilégios e acesso à rede de saída, juntamente com requisitos de aprovação para ações de ferramentas consequenciais. Os controles abordam tanto a manipulação de checkpoint quanto as capacidades do agente que hospeda o modelo. A Microsoft alerta que um audit bem-sucedido não pode garantir comportamento seguro.

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.