Pesquisadores da Meta desenvolveram um método para detectar modelos de IA distilados, identificando 79% dos modelos copiados testados com uma taxa de falsos positivos de 0,1%, sem acessar a estrutura interna dos modelos suspeitos. A técnica, chamada WM-Basin, destina-se a modelos treinados usando saídas de modelos "professores" com marca-d'água; o artigo relacionado foi publicado em 27 de outubro de 2026.
Pontos principais
- WM-Basin analisa o texto gerado pela API, e não os pesos do modelo nem os logits.
- Meta avaliou essa técnica em 1.200 modelos de estudantes.
- Este método mantém sua capacidade de detecção sob várias modificações de modelo, mas seu desempenho diminui após fine-tuning e reescrita com dados limpos.
Como o WM-Basin detecta modelos de IA distilados
WM-Basin utiliza um modelo de sonda separado e limpo para analisar textos gerados por modelos de destilação suspeitos. Pesquisadores dos laboratórios Meta FAIR e Meta Superintelligence apresentaram esse método no artigo intitulado “Watermark Basins: Black-Box Detection of Distilled LLMs”, com o número arXiv:2610.37266.
O estudo do artigo examina um cenário específico de cópia: alguém coleta respostas de um modelo professor com marca d'água por meio de uma API e usa essas respostas para treinar um modelo aluno. O WM-Basin utiliza apenas os textos gerados pelo modelo aluno para buscar evidências dessa relação de treinamento.
O detector alimenta esse texto em um modelo de sonda fixo e o converte em uma representação de gradiente — ou seja, observa como os parâmetros se moveriam se o modelo de sonda fosse treinado com esse texto. Em seguida, ele identifica o alinhamento entre a direção de fine-tuning comum e o "poço de marca d'água" no espaço de parâmetros associado a uma determinada chave.
Isso torna a tecnologia um método de análise de caixa preta: não é necessário acessar os pesos ou os logits do modelo suspeito. Basta poder obter respostas de texto por meio da API para realizar a detecção.
Taxa de detecção de 79% em 1.200 modelos de estudantes

Pesquisadores afirmam que, com n-gram=1, a taxa de verdadeiros positivos do WM-Basin atinge 79%, enquanto mantém a taxa de falsos positivos em 0,1%; sob as mesmas condições, o melhor detector de token de caixa preta anterior apresenta uma taxa de verdadeiros positivos de apenas 29%.
O autor também observa que, à medida que o limiar de detecção se torna mais rigoroso e a janela n-gram aumenta, a vantagem do WM-Basin em relação aos métodos concorrentes se amplia ainda mais.
A avaliação abrangeu 1.200 modelos de estudantes, com tamanhos variando de 135 milhões a 8,2 bilhões de parâmetros. Os pesquisadores treinaram esses modelos usando trajetórias de raciocínio matemático do OpenR1-Math, cobrindo seis categorias de arquiteturas de estudantes, diversos modelos professores e diferentes métodos de marca-d'água.
These results support the paper's conclusion regarding improved detection capabilities of distilled AI models in mathematical reasoning evaluations.
Quais alterações preservam ou enfraquecem a eficácia da detecção?
Pesquisadores descobriram que o sinal de detecção do WM-Basin ainda está presente após o aprendizado por reforço, quantização, poda e distilação. A quantização comprime o modelo para reduzir os custos de execução, enquanto a poda remove部分 parâmetros.
O método ainda é mais confiável quando o sinal de nível de token é enfraquecido, incluindo durante a amostragem em baixas temperaturas.
No entanto, outras alterações reduzem seu efeito. Realizar microajuste em larga escala com dados limpos e sem marca d'água enfraquece a capacidade de detecção, enquanto reescrever as trajetórias de inferência do modelo professor oferece outro caminho possível de contornar. Os autores destacam especificamente que continuar o microajuste supervisionado em materiais sem marca d'água pertence a esses métodos.
Evidência de marca d'água para desenvolvedores de IA
Taxas mais altas de detecção e taxas mais baixas de falsos positivos podem fortalecer o uso de evidências baseadas em água-marcas em nível legal ou contratual para reivindicar cópia de modelos. Para esse tipo de uso, a taxa de falsos positivos é especialmente importante, pois mede os falsos positivos, e não a identificação bem-sucedida.
A comparação no relatório do WM-Basin alcança uma taxa de verdadeiros positivos de 79% sob a mesma taxa de falsos positivos de 0,1%, enquanto os métodos anteriores baseados em token alcançaram 29%. Os testes relacionados utilizaram um modelo de aluno treinado com trajetórias de raciocínio matemático do OpenR1-Math.
Este artigo foi gerado com a ajuda de inteligência artificial e revisado pela equipe de edição.
Francesco Antonio Russo
Empreendedor com mais de 4 anos de experiência em Web 3.0, especializado em criptomoedas e inteligência artificial. Utiliza habilidades interdisciplinares para gestão de mídias sociais funcionais e orientadas por tendências.

