O ruído pode melhorar o desempenho do modelo no aprendizado semi-supervisionado

Na aprendizagem por transferência, os "dados de origem" não precisam necessariamente ser imagens, textos ou áudios.

Um ruído aleatoriamente amostrado de uma distribuição gaussiana, sem qualquer significado semântico, também pode ajudar o modelo a aprender melhor com poucos rótulos.

Este trabalho é chamado Semi-Supervised Noise Adaptation (SSNA), e o artigo foi publicado no ICML 2026.

A equipe SSNA propôs adicionalmente o Framework de Adaptação a Ruído (Noise Adaptation Framework, NAF), que utiliza ruído gerado aleatoriamente para construir uma estrutura de categoria discriminativa e transfere essa estrutura para dados reais de destino, melhorando assim o desempenho de aprendizado do modelo em cenários com poucos rótulos.

△NAF projeta o domínio de ruído e o domínio de destino para um espaço de representação compartilhado e realiza o alinhamento no nível da categoria. Imagem proveniente do artigo.

Com apenas 4 amostras rotuladas por categoria e utilizando a rede ResNet-18 como backbone, o NAF melhorou a precisão em 12,35, 7,61, 4,38 e 2,74 pontos percentuais nos conjuntos de dados CIFAR-10, CIFAR-100, DTD-47 e Caltech-101, respectivamente, em comparação com a linha de base de aprendizado supervisionado padrão ERM (Minimização do Risco Empírico), que utiliza apenas amostras rotuladas. O código-fonte do artigo já está disponível publicamente; consulte o final do texto para mais detalhes.

O aprendizado por transferência tradicional geralmente exige um domínio de origem com ricos rótulos. No entanto, dados de origem reais nem sempre são facilmente acessíveis. Restrições de privacidade, confidencialidade e direitos autorais podem impedir o compartilhamento dos dados do domínio de origem. O SSNA tenta eliminar essa premissa: o domínio de origem não contém mais amostras reais, mas sim ruído gerado a partir de distribuições de probabilidade simples.

O procedimento não é complexo: suponha que a tarefa alvo contenha C categorias. A equipe de pesquisa primeiro amostra aleatoriamente um vetor médio em um espaço de 1024 dimensões para cada categoria, utilizando a matriz identidade como covariância, construindo assim C distribuições gaussianas. Em seguida, 50 vetores de ruído são amostrados de cada distribuição. O domínio de ruído e o domínio alvo utilizam o mesmo conjunto de índices de categoria, onde cada categoria de ruído é previamente correspondida a um índice de categoria alvo, mas essa correspondência em si não contém informação semântica.

O número aqui em si não possui significado. A classe de ruído 0 não representa naturalmente "gato"; apenas, antes do início do treinamento, os pesquisadores a fixaram para corresponder a uma determinada classe no domínio-alvo. O que realmente é transferido não é o conhecimento visual de gatos ou cães, mas a estrutura discriminativa formada no domínio de ruído.

O ruído da mesma categoria é comprimido junto, enquanto o ruído de categorias diferentes é separado. Desde que essa estrutura esteja alinhada com o domínio-alvo, ela fornece fronteiras de classificação mais claras para amostras reais do domínio-alvo.

Pequenos rótulos ainda são necessários

O ruído pode substituir os dados de origem reais, mas não pode substituir completamente os rótulos do domínio-alvo. A razão é direta: o ruído vem de outro espaço, e os números das categorias são atribuídos artificialmente; o modelo precisa de algumas amostras-alvo rotuladas para saber a qual categoria real o ruído da classe 0 deve ser alinhado.

Quando o número de amostras rotuladas por classe foi reduzido a zero no CIFAR-100, a precisão do ERM e do NAF foi de apenas 0,97% e 1,34%, respectivamente, aproximando-se do nível aleatório. Assim que foram fornecidas algumas amostras rotuladas, o NAF superou consistentemente o ERM.

Portanto, a conclusão deste trabalho é que, no contexto de classificação semi-supervisionada, o domínio-fonte real não é necessariamente um pré-requisito para alcançar transferência positiva.

Com base no limite de generalização apresentado no artigo, o NAF divide o objetivo de treinamento em três partes.

Aprenda primeiro alguns rótulos reais.

O codificador de domínio mapeia amostras reais para o espaço de representação compartilhado, e o classificador calcula a perda de entropia cruzada usando poucas amostras rotuladas. Essa parte é consistente com o aprendizado supervisionado comum, servindo para estabelecer uma ponte entre classes ruidosas e classes reais.

Faça com que o ruído forme uma estrutura de categorias clara

O projetor de ruído mapeia vetores aleatórios para o mesmo espaço de representação, enquanto o classificador identifica esses ruídos conforme os números de categoria pré-definidos. Após o treinamento, ruídos da mesma classe tendem a se agrupar, enquanto ruídos de classes diferentes se separam.

Alinhe os dois lados por último

O NAF também calcula a diferença de distribuição entre o domínio de ruído e o domínio de destino. O módulo de alinhamento de distribuição não restringe a implementação específica; o artigo compara várias abordagens e, experimentalmente, adota a similaridade de domínio negativa (Negative Domain Similarity, NDS) como mecanismo padrão. A NDS compara simultaneamente as médias globais e as médias de cada classe dos dois domínios, utilizando a similaridade do cosseno para aproximá-las. As médias de classe das amostras de destino não rotuladas são estimadas iterativamente por meio de rótulos pseudossimbólicos gerados pelo modelo.

O conjunto completo de objetivos pode ser escrito como

. Entre eles,

Responsável pela classificação de amostras reais, em pequena quantidade e com rótulos.

Responsible for noise classification,

Responsável pelo alinhamento das distribuições do domínio-alvo e do domínio de ruído. O limite de generalização apresentado no artigo corresponde a esses três itens: erro empírico do domínio-alvo, erro empírico do domínio de ruído e a diferença de distribuição entre os dois domínios no espaço de representação compartilhado.

O experimento principal cobre oito conjuntos de dados visuais e um conjunto de dados de classificação de texto. Exceto pelo ImageNet-1K, todas as tarefas visuais utilizam quatro amostras rotuladas por classe, com as demais amostras de treinamento como dados não rotulados.

No ResNet-18, o NAF apresenta melhorias no Top-1 em relação ao ERM de: CIFAR-10 +12,35, CIFAR-100 +7,61, DTD-47 +4,38 e Caltech-101 +2,74 pontos percentuais.

△

A classificação de granularidade fina também é eficaz. Ao usar o ResNet-18, o NAF melhora em relação ao ERM em 8,94, 5,51 e 7,74 pontos percentuais nos conjuntos CUB-200, Oxford Flowers-102 e Stanford Cars-196, respectivamente.

Em uma escala maior no ImageNet-1K, a equipe de pesquisa manteve 100 amostras rotuladas por classe. O NAF atingiu 37,10% de precisão, 0,99 ponto percentual acima do ERM. Na tarefa de texto AG News-4, o NAF com BERT atingiu 82,82%, 4,18 pontos percentuais acima dos 78,64% do ERM.

NAF também pode ser diretamente integrado a métodos semi-supervisionados existentes. O artigo o integrou ao UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM e SA-FixMatch, obtendo melhorias gerais. Como exemplo, com 20 rodadas de treinamento no CIFAR-10, a adição do NAF ao UDA e ao FixMatch aumentou a precisão em 20,83 e 9,91 pontos percentuais, respectivamente.

Por que o ruído ajuda? Os experimentos de ablação do artigo apontam a mesma causa: se existe uma estrutura separável entre as classes.

A equipe primeiro reduziu todo o ruído de todas as categorias a um único ponto. Assim, o domínio de ruído perdeu completamente sua estrutura discriminativa; o NAF não apenas não trouxe ganho, mas também apresentou uma transferência negativa clara. A precisão no CIFAR-10 caiu de 58,15% do ERM para 33,34%, e no CIFAR-100, de 42,24% para 6,79%.

Em contraste, à medida que a distância entre os centros das classes de ruído é aumentada gradualmente, a precisão do CIFAR-100 aumenta de 43,80% para 49,78%. Isso indica que quanto mais fáceis de distinguir forem as classes de ruído, mais forte tende a ser o guia estrutural fornecido.

A quantidade de ruído não é tão crítica. Ao aumentar o ruído de 10 para 100 por categoria, a precisão permaneceu estável em cerca de 50%; após aumentar para 200, houve uma leve queda. O artigo conclui que, desde que se forme um padrão separável, uma pequena quantidade de ruído é suficiente para ser eficaz.

△

A equipe de pesquisa também simplificou o domínio de ruído para um único ponto central por classe. Independentemente de os centros serem fixos ou aprendíveis, os resultados superaram o ERM; os centros aprendíveis obtiveram desempenho melhor do que os fixos, mas ainda ficaram abaixo do NAF completo.

Na experiência de migração de Amazon para Caltech-10, os dados reais da fonte ainda permanecem ligeiramente superiores, mas o domínio-fonte ruidoso já consegue aumentar a precisão de 83,51% do ERM para cerca de 88% a 89%. Isso fornece uma posição mais realista: quando os dados da fonte real não estão disponíveis, o ruído sintético pode se tornar uma alternativa de baixo custo.

Também difere da augmentação de dados comum. A augmentação de dados geralmente realiza rotação, recorte, interpolação ou geração próximos a amostras reais; o SSNA primeiro constrói um domínio de ruído independente e depois realiza o alinhamento interdomínio no espaço de representação.

Este trabalho oferece uma nova perspectiva contraintuitiva para o aprendizado por transferência: os dados de origem podem ajudar a tarefa-alvo não necessariamente por meio de seu significado real, mas também por meio da estrutura de categorias formada no espaço de representação, que pode se tornar um conhecimento transferível.

NAF aproveita exatamente esse ponto, permitindo que ruído aleatório forme estruturas discriminativas no espaço de representação compartilhado e, em seguida, transfira essas estruturas para dados reais por meio de poucas amostras rotuladas. Os resultados experimentais demonstram que, mesmo que o domínio de origem não contenha imagens, textos ou áudios reais, desde que a estrutura de classe apropriada seja mantida, ainda é possível ter um efeito positivo na tarefa alvo.

Em outras palavras, o que é transferido no aprendizado por transferência pode não ser apenas “o que os dados dizem”, mas também “como os dados são organizados no espaço de representação”. Isso oferece uma nova abordagem de pesquisa para cenários com restrições de privacidade, sensibilidade de direitos autorais ou dificuldade de acesso aos dados de origem reais.

Título do artigo: Adaptação ao Ruído Semi-Supervisionada: Transferência de Conhecimento do Domínio de Ruído

Endereço do artigo: https://arxiv.org/pdf/2606.00558

Endereço do código-fonte: https://github.com/AIResearch-Group/SSNA

Análise em vídeo: https://www.bilibili.com/video/BV1UV7h61EvW/

Este artigo é do número do WeChat "Quantum Bit", autor: equipe SSNA