Le bruit peut améliorer les performances du modèle en apprentissage semi-supervisé

Dans l'apprentissage par transfert, les « données sources » n'ont pas nécessairement à être des images, du texte ou des audio.

Un bruit aléatoire échantillonné à partir d'une distribution gaussienne, sans aucune sémantique, peut également aider le modèle à mieux apprendre avec peu d'étiquettes.

Ce travail s'intitule Semi-Supervised Noise Adaptation (SSNA) et a été publié à ICML 2026.

L'équipe SSNA propose également un cadre d'adaptation au bruit (Noise Adaptation Framework, NAF), qui utilise du bruit généré aléatoirement pour construire une structure de catégorie discriminative, puis transfère cette structure aux données cibles réelles afin d'améliorer l'apprentissage du modèle dans des scénarios avec peu d'étiquettes.

△NAF projette le domaine de bruit et le domaine cible dans un espace de représentation partagé et effectue un alignement au niveau des catégories. Image tirée de l'article.

Avec seulement 4 échantillons étiquetés par catégorie et en utilisant un réseau ResNet-18 comme backbone, NAF améliore respectivement de 12,35, 7,61, 4,38 et 2,74 points de pourcentage les performances sur CIFAR-10, CIFAR-100, DTD-47 et Caltech-101 par rapport à la méthode de base en apprentissage supervisé standard ERM (Empirical Risk Minimization), qui n'utilise que les échantillons étiquetés. Le code source de l'article est désormais open source ; consultez la fin de l'article pour plus de détails.

L'apprentissage par transfert traditionnel nécessite généralement un domaine source riche en étiquettes. Cependant, les données sources réelles ne sont pas toujours facilement accessibles. Des contraintes de confidentialité, de secret professionnel et de droits d'auteur peuvent empêcher le partage des données du domaine source. SSNA cherche à éliminer cette hypothèse : le domaine source ne contient plus d'échantillons réels, mais est remplacé par du bruit généré à partir de distributions de probabilité simples.

La méthode n'est pas complexe : supposons que la tâche cible comporte C catégories. L'équipe de recherche commence par échantillonner aléatoirement, dans un espace de dimension 1024, un vecteur moyen pour chaque catégorie, en utilisant la matrice identité comme covariance, afin de construire C distributions gaussiennes. Ensuite, 50 vecteurs de bruit sont échantillonnés à partir de chaque distribution. Le domaine de bruit utilise le même ensemble d'indices de catégories que le domaine cible ; chaque catégorie de bruit est préalablement associée à un indice de catégorie cible, mais cette association ne contient aucune information sémantique.

Le numéro lui-même n'a pas de signification. La classe de bruit 0 ne représente pas naturellement « chat » ; il s'agit simplement d'une correspondance fixée par les chercheurs avant le début de l'entraînement avec une certaine classe du domaine cible. Ce qui est véritablement transféré, ce n'est pas la connaissance visuelle du chat ou du chien, mais la structure discriminative formée dans le domaine de bruit.

Les bruits de la même catégorie sont regroupés, tandis que les bruits de catégories différentes sont séparés. Dès lors que cette structure est alignée avec le domaine cible, elle permet d'obtenir des frontières de classification plus claires pour les échantillons cibles réels.

Des étiquettes limitées sont encore nécessaires

Le bruit peut remplacer les données sources réelles, mais ne peut pas remplacer entièrement les étiquettes du domaine cible. La raison est directe : le bruit provient d’un autre espace, et les numéros de classe sont attribués artificiellement ; le modèle doit s’appuyer sur un petit nombre d’échantillons cibles étiquetés pour déterminer à quelles classes réelles le bruit de classe 0 doit être aligné.

Lorsque le nombre d'échantillons étiquetés par classe est réduit à zéro sur CIFAR-100, les précisions de ERM et de NAF ne sont respectivement que de 0,97 % et 1,34 %, soit presque au niveau aléatoire. Dès qu'un petit nombre d'étiquettes est fourni, NAF dépasse constamment ERM.

Ainsi, la conclusion de ce travail est que, dans le cadre de la classification semi-supervisée, le domaine source réel n'est pas nécessaire pour réaliser un transfert positif.

Sur la base de la borne de généralisation présentée dans l'article, NAF décompose l'objectif d'entraînement en trois parties.

Apprenez d'abord un petit nombre de balises réelles.

L'encodeur de domaine mappe les échantillons réels dans un espace de représentation partagé, et le classificateur calcule la perte d'entropie croisée à l'aide de quelques échantillons étiquetés. Cette partie est identique à l'apprentissage supervisé classique et vise à établir un lien entre les classes bruitées et les classes réelles.

Faites en sorte que le bruit forme une structure de catégories claires.

Le projecteur de bruit mappe les vecteurs aléatoires vers un même espace de représentation, tandis que le classificateur identifie ces bruits selon des numéros de catégories prédéfinis. Après l'entraînement, les bruits de même catégorie se regroupent progressivement, tandis que les bruits de catégories différentes se séparent.

Alignez les deux côtés à la fin

NAF calcule également la différence de distribution entre le domaine bruité et le domaine cible. Le module d'alignement de distribution n'impose pas d'implémentation spécifique ; l'article compare plusieurs approches et retient expérimentalement la similarité de domaine négative (Negative Domain Similarity, NDS) comme mécanisme par défaut. La NDS compare simultanément les moyennes globales des deux domaines et les moyennes de chaque catégorie, en utilisant la similarité cosinus pour les rapprocher. Les moyennes de catégorie des échantillons cibles non étiquetés sont estimées itérativement à partir des pseudo-étiquettes générées par le modèle.

L'ensemble des objectifs peut être écrit comme

. Parmi ceux-ci,

Responsable de la classification d'échantillons cibles réels, en petit nombre et étiquetés.

Responsible for noise classification,

Assurer l'alignement des distributions des domaines cible et bruit. La borne de généralisation proposée dans l'article correspond à ces trois éléments : l'erreur empirique du domaine cible, l'erreur empirique du domaine bruit, et la différence de distribution entre les deux domaines dans l'espace de représentation partagé.

L'expérience principale couvre huit ensembles de données visuelles et un ensemble de données de classification textuelle. À l'exception d'ImageNet-1K, les tâches visuelles utilisent quatre échantillons étiquetés par classe, avec le reste des échantillons de formation considérés comme non étiquetés.

Sur ResNet-18, l'amélioration Top-1 de NAF par rapport à ERM est respectivement de : CIFAR-10 +12,35 %, CIFAR-100 +7,61 %, DTD-47 +4,38 %, Caltech-101 +2,74 %.

△

La classification fine-grain est également efficace. Avec ResNet-18, NAF améliore respectivement ERM de 8,94, 5,51 et 7,74 points de pourcentage sur CUB-200, Oxford Flowers-102 et Stanford Cars-196.

Sur ImageNet-1K à plus grande échelle, l'équipe de recherche a conservé 100 échantillons annotés par classe. NAF atteint une précision de 37,10 %, soit 0,99 point de pourcentage de plus qu'ERM. Sur la tâche textuelle AG News-4, NAF avec BERT atteint 82,82 %, soit 4,18 points de pourcentage de plus que les 78,64 % d'ERM.

NAF peut également être intégré directement dans des méthodes semi-supervisées existantes. L'article l'a intégré à UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM et SA-FixMatch, obtenant systématiquement des améliorations. À titre d'exemple, sur CIFAR-10 après 20 itérations d'entraînement, l'ajout de NAF à UDA et FixMatch a augmenté la précision de 20,83 et 9,91 points de pourcentage respectivement.

Pourquoi le bruit aide-t-il ? Les expériences d’ablation de l’article pointent vers le même facteur : la présence ou l’absence d’une structure séparable entre les classes.

L'équipe a d'abord réduit tous les types de bruit à un seul point. Ainsi, le domaine du bruit a complètement perdu sa structure discriminative ; NAF n'apporte plus aucun gain, mais subit au contraire une migration négative marquée. La précision sur CIFAR-10 est passée de 58,15 % avec ERM à 33,34 %, et sur CIFAR-100 de 42,24 % à 6,79 %.

En revanche, en augmentant progressivement la distance entre les centres des classes de bruit, la précision sur CIFAR-100 passe de 43,80 % à 49,78 %. Cela indique que plus les classes de bruit sont faciles à distinguer, plus le guidage structurel qu'elles fournissent est généralement fort.

Le nombre de bruits n’est pas aussi crucial. Lorsque le nombre de bruits par catégorie passe de 10 à 100, la précision reste stable à environ 50 % ; elle diminue légèrement après avoir atteint 200. L’article en conclut que, tant qu’un modèle séparable peut être formé, un faible nombre de bruits suffit à jouer son rôle.

△

L'équipe de recherche a également simplifié le domaine de bruit en un seul point central par classe. Que ce point soit fixe ou apprenable, les résultats dépassent ERM ; les centres apprenables surpassent les centres fixes, mais restent inférieurs à NAF complet.

Dans l'expérience de migration d'Amazon à Caltech-10, les données sources réelles restent légèrement supérieures dans leur ensemble, mais le domaine source bruité permet déjà d'augmenter la précision de 83,51 % à environ 88 à 89 % par rapport à ERM. Cela fournit une orientation plus réaliste : lorsque les données sources réelles ne sont pas disponibles, le bruit synthétique peut devenir une alternative à faible coût.

Il diffère également des techniques courantes d'augmentation de données. L'augmentation de données consiste généralement à appliquer des rotations, des recadrages, des interpolations ou des générations près d'échantillons réels ; SSNA construit d'abord un domaine de bruit indépendant, puis réalise l'alignement inter-domaines dans l'espace de représentation.

Ce travail offre une nouvelle perspective contre-intuitive sur l'apprentissage par transfert : les données sources peuvent aider la tâche cible sans nécessairement dépendre de leur sémantique réelle ; la structure de catégories formée dans l'espace de représentation peut également constituer un savoir transférable.

NAF exploite précisément ce point pour permettre au bruit aléatoire de former une structure discriminative dans l'espace de représentation partagé, puis de transmettre cette structure aux données réelles à l'aide de quelques échantillons étiquetés. Les résultats expérimentaux montrent que, même si le domaine source ne contient pas d'images, de textes ou d'audios réels, il est toujours possible d'avoir un effet positif sur la tâche cible tant que la structure de catégorie appropriée est préservée.

Autrement dit, ce qui est transféré par l'apprentissage par transfert n'est pas seulement « ce que les données décrivent », mais aussi « comment les données sont organisées dans l'espace de représentation ». Cela ouvre une nouvelle piste de recherche pour les scénarios où la confidentialité, les droits d'auteur ou l'accessibilité des données sources réelles sont limités.

Titre de l'article : Adaptation au bruit semi-supervisée : Transfert de connaissances depuis le domaine du bruit

Adresse du papier : https://arxiv.org/pdf/2606.00558

Adresse du code source : https://github.com/AIResearch-Group/SSNA

Vidéo d'analyse : https://www.bilibili.com/video/BV1UV7h61EvW/

Cet article provient du compte officiel WeChat « Quantum Bit », auteur : équipe SSNA