Pesquisadores da Meta desenvolvem WM-Basin para detectar modelos de IA distilados

icon币界网
Compartilhar
AI summary iconResumo
Pesquisadores da Meta desenvolveram um método de detecção chamado WM-Basin para identificar modelos de IA distilados. A abordagem detecta 79% dos modelos replicados com uma taxa de falsos positivos de 0,1%, analisando texto gerado por API, sem pesos ou logits do modelo. Funciona sob diversas modificações do modelo, mas enfrenta dificuldades quando os modelos são ajustados finamente com dados limpos ou quando as saídas do modelo professor são reescritas. À medida que a legislação global sobre criptoativos se aperta, as regulamentações CFT enfrentam novos desafios no rastreamento de atividades financeiras geradas por IA.
Relatório do CoinGape:

Pesquisadores da Meta desenvolveram um método para detectar modelos de IA distilados, identificando 79% dos modelos copiados testados com uma taxa de falsos positivos de 0,1%, sem acessar a estrutura interna dos modelos suspeitos. A técnica, chamada WM-Basin, destina-se a modelos treinados usando saídas de modelos "professores" com marca-d'água; o artigo relacionado foi publicado em 27 de outubro de 2026.

Pontos principais

  • WM-Basin analisa o texto gerado pela API, e não os pesos do modelo nem os logits.
  • Meta avaliou essa técnica em 1.200 modelos de estudantes.
  • Este método mantém sua capacidade de detecção sob várias modificações de modelo, mas seu desempenho diminui após fine-tuning e reescrita com dados limpos.

Como o WM-Basin detecta modelos de IA distilados

WM-Basin utiliza um modelo de sonda separado e limpo para analisar textos gerados por modelos de destilação suspeitos. Pesquisadores dos laboratórios Meta FAIR e Meta Superintelligence apresentaram esse método no artigo intitulado “Watermark Basins: Black-Box Detection of Distilled LLMs”, com o número arXiv:2610.37266.

O estudo do artigo examina um cenário específico de cópia: alguém coleta respostas de um modelo professor com marca d'água por meio de uma API e usa essas respostas para treinar um modelo aluno. O WM-Basin utiliza apenas os textos gerados pelo modelo aluno para buscar evidências dessa relação de treinamento.

O detector alimenta esse texto em um modelo de sonda fixo e o converte em uma representação de gradiente — ou seja, observa como os parâmetros se moveriam se o modelo de sonda fosse treinado com esse texto. Em seguida, ele identifica o alinhamento entre a direção de fine-tuning comum e o "poço de marca d'água" no espaço de parâmetros associado a uma determinada chave.

Isso torna a tecnologia um método de análise de caixa preta: não é necessário acessar os pesos ou os logits do modelo suspeito. Basta poder obter respostas de texto por meio da API para realizar a detecção.

Taxa de detecção de 79% em 1.200 modelos de estudantes

Pesquisadores afirmam que, com n-gram=1, a taxa de verdadeiros positivos do WM-Basin atinge 79%, enquanto mantém a taxa de falsos positivos em 0,1%; sob as mesmas condições, o melhor detector de token de caixa preta anterior apresenta uma taxa de verdadeiros positivos de apenas 29%.

O autor também observa que, à medida que o limiar de detecção se torna mais rigoroso e a janela n-gram aumenta, a vantagem do WM-Basin em relação aos métodos concorrentes se amplia ainda mais.

A avaliação abrangeu 1.200 modelos de estudantes, com tamanhos variando de 135 milhões a 8,2 bilhões de parâmetros. Os pesquisadores treinaram esses modelos usando trajetórias de raciocínio matemático do OpenR1-Math, cobrindo seis categorias de arquiteturas de estudantes, diversos modelos professores e diferentes métodos de marca-d'água.

These results support the paper's conclusion regarding improved detection capabilities of distilled AI models in mathematical reasoning evaluations.

Quais alterações preservam ou enfraquecem a eficácia da detecção?

Pesquisadores descobriram que o sinal de detecção do WM-Basin ainda está presente após o aprendizado por reforço, quantização, poda e distilação. A quantização comprime o modelo para reduzir os custos de execução, enquanto a poda remove部分 parâmetros.

O método ainda é mais confiável quando o sinal de nível de token é enfraquecido, incluindo durante a amostragem em baixas temperaturas.

No entanto, outras alterações reduzem seu efeito. Realizar microajuste em larga escala com dados limpos e sem marca d'água enfraquece a capacidade de detecção, enquanto reescrever as trajetórias de inferência do modelo professor oferece outro caminho possível de contornar. Os autores destacam especificamente que continuar o microajuste supervisionado em materiais sem marca d'água pertence a esses métodos.

Evidência de marca d'água para desenvolvedores de IA

Taxas mais altas de detecção e taxas mais baixas de falsos positivos podem fortalecer o uso de evidências baseadas em água-marcas em nível legal ou contratual para reivindicar cópia de modelos. Para esse tipo de uso, a taxa de falsos positivos é especialmente importante, pois mede os falsos positivos, e não a identificação bem-sucedida.

A comparação no relatório do WM-Basin alcança uma taxa de verdadeiros positivos de 79% sob a mesma taxa de falsos positivos de 0,1%, enquanto os métodos anteriores baseados em token alcançaram 29%. Os testes relacionados utilizaram um modelo de aluno treinado com trajetórias de raciocínio matemático do OpenR1-Math.

Este artigo foi gerado com a ajuda de inteligência artificial e revisado pela equipe de edição.

Francesco Antonio Russo

Empreendedor com mais de 4 anos de experiência em Web 3.0, especializado em criptomoedas e inteligência artificial. Utiliza habilidades interdisciplinares para gestão de mídias sociais funcionais e orientadas por tendências.

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.