Шум може покращити продуктивність моделі в напівконтрольованому навчанні

У переносному навчанні «джерельні дані» не обов’язково мають бути зображеннями, текстом або аудіо.

Шум, випадково вибраний з гаусівського розподілу та без будь-якого семантичного змісту, також може допомогти моделі краще навчатися при малих обсягах розмічених даних.

Ця робота називається напівконтрольною адаптацією до шуму (Semi-Supervised Noise Adaptation, SSNA), і стаття була опублікована на ICML 2026.

Команда SSNA запропонувала додатково рамки адаптації до шуму (Noise Adaptation Framework, NAF), які використовують випадково згенерований шум для створення диференційованої структури класів і переносу цієї структури на реальні цільові дані, що покращує навчання моделі в сценаріях з обмеженою кількістю міток.

△NAF проектує шумову та цільову області до спільного простору представлення та вирівнює їх на рівні класів. Зображення з наукової статті.

За умови лише 4 позначених зразків на кожен клас, на основі архітектури ResNet-18, NAF досяг зростання точності на 12,35; 7,61; 4,38 та 2,74 відсоткових пунктив на CIFAR-10, CIFAR-100, DTD-47 та Caltech-101 відповідно порівняно зі стандартним наглядним підходом ERM (мінімізація емпіричного ризику), який використовує лише позначені зразки. Наразі вихідний код статті відкрито опубліковано — докладніше дивіться в кінці тексту.

Традиційне перенесення навчання зазвичай вимагає наявності багато позначених даних у джерельній області. Однак реальні джерельні дані не завжди доступні. Обмеження, пов’язані з конфіденційністю, секретністю та авторськими правами, можуть перешкоджати обміну даними джерельної області. SSNA намагається видалити це припущення: джерельна область більше не містить реальних зразків, а замість цього замінюється шумом, згенерованим з простого ймовірнісного розподілу.

Конкретний підхід не є складним: припустимо, що цільова задача містить C класів. Дослідницька команда спочатку випадково вибирає середній вектор у 1024-вимірному просторі для кожного класу, використовуючи одиничну матрицю як коваріацію, щоб побудувати C гаусових розподілів, а потім вибирає по 50 шумових векторів з кожного розподілу. Простір шуму та цільовий простір використовують однаковий набір індексів класів; кожен шумовий клас попередньо зіставлений з індексом цільового класу, але саме це зіставлення не містить семантичної інформації.

Номера тут не мають семантики. Шумовий клас 0 не означає «кіт» із природи — лише дослідники на початку навчання зумовили його відповідність певному класу у цільовій області. Насправді переноситься не візуальне знання про котів чи собак, а дискримінативна структура, сформована у шумовій області.

Шум однієї категорії стискається разом, а шум різних категорій розтягується. Якщо ця структура зможе зв’язатися з цільовою областю, вона забезпечить чіткіші межі класифікації для реальних цільових зразків.

Декілька міток все ще необхідні

Шум може замінити реальні вихідні дані, але не може повністю замінити мітки цільової області. Причина проста: шум походить з іншого простору, а номери класів є штучно призначеними; модель повинна використовувати невелику кількість позначених цільових зразків, щоб зрозуміти, якому реальному класу відповідає шумовий клас 0.

Коли кількість позначених зразків на клас у CIFAR-100 зменшена до нуля, точність ERM і NAF становить лише 0,97% і 1,34% відповідно, що близько до випадкового рівня. Як тільки надається навіть невелика кількість позначень, NAF постійно перевершує ERM.

Отже, висновок цієї роботи полягає в тому, що у налаштуванні напівконтрольованої класифікації справжній джерельний домен не є необхідною умовою для досягнення позитивного перенесення.

На основі узагальненої верхньої межі, наведеної у статті, NAF розбиває навчальну мету на три частини.

Спочатку вивчіть невелику кількість реальних міток

Енкодер цільової області відображає реальні зразки у спільний простір представлення, а класифікатор використовує невелику кількість анотованих зразків для обчислення втрат перехресної ентропії. Ця частина збігається зі звичайним методом навчання з вчителем і призначена для створення зв’язку між шумовими класами та реальними класами.

Знову сформувати чітку структуру класів шуму

Генератор шуму відповідає за відображення випадкових векторів у спільний простір представлення, а класифікатор визначає цей шум за передвизначеними номерами класів. Після навчання шум однієї категорії поступово групується, а шум різних категорій розділяється.

Останнім вирівняйте обидві сторони

NAF також обчислює різницю розподілів між шумовою та цільовою областями. Модуль вирівнювання розподілів не обмежує конкретну реалізацію; у статті порівнювалися різні підходи, і в експериментах було емпірично обрано негативну подібність доменів (Negative Domain Similarity, NDS) як механізм за замовчуванням. NDS одночасно порівнює глобальні середні значення обох доменів та середні значення для кожного класу, використовуючи косинусну подібність для наближення їх один до одного. Середні значення класів для непозначених цільових зразків оцінюються ітеративно за допомогою псевдоміток, генерованих моделлю.

Повний набір цілей можна записати як

. Серед них,

Відповідальний за класифікацію невеликої кількості реальних цільових зразків із анотаціями

Відповідає за класифікацію шуму,

Відповідає за вирівнювання розподілів цільової та шумової областей. Верхня межа узагальнення, наведена в статті, також відповідає цим трьом елементам: емпірична похибка цільової області, емпірична похибка шумової області та розбіжність розподілів між двома областями у спільному просторі представлень.

Основний експеримент охоплює 8 візуальних наборів даних та 1 набір даних для класифікації текстів. Крім ImageNet-1K, для візуальних завдань використовується по 4 анотованих зразки на клас, а решта навчальних зразків використовуються як невідмічені дані.

На ResNet-18 NAF показує збільшення Top-1 щодо ERM: CIFAR-10 +12,35, CIFAR-100 +7,61, DTD-47 +4,38, Caltech-101 +2,74 відсоткових пункти.

△

Дрібніша класифікація також ефективна. При використанні ResNet-18 NAF збільшує показники відносно ERM на 8,94, 5,51 і 7,74 відсоткових пункти на CUB-200, Oxford Flowers-102 та Stanford Cars-196 відповідно.

На більшому наборі даних ImageNet-1K дослідницька команда зберегла по 100 позначених зразків для кожного класу. NAF досяг точності 37,10%, що на 0,99 відсоткового пункту вище, ніж у ERM. У текстовій задачі AG News-4 NAF з BERT досяг 82,82%, що на 4,18 відсоткового пункту вище, ніж у ERM (78,64%).

NAF також можна безпосередньо інтегрувати в існуючі напівконтрольовані методи. У статті його підключили до UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM та SA-FixMatch, і в усіх випадках було отримано покращення. Наприклад, за результатами 20 епох навчання на CIFAR-10, додавання NAF до UDA та FixMatch збільшило точність відповідно на 20,83 та 9,91 відсоткових пункту.

Чому допомагає шум? Експерименти з абляцією в статті вказують на один і той самий фактор: чи мають класи роздільну структуру.

Команда спочатку зменшила весь шум у всіх категоріях до однієї точки. В результаті шумова область повністю втратила розрізнювальну структуру, і NAF не тільки не дав вигоди, але й призвів до значного негативного перенесення. Точність на CIFAR-10 впала з 58,15% у ERM до 33,34%, а на CIFAR-100 — з 42,24% до 6,79%.

Навпаки, при поступовому збільшенні відстані між центрами шумових класів точність CIFAR-100 зросла з 43,80% до 49,78%. Це свідчить про те, що чим легше розрізняти шумові класи, тим сильнішим зазвичай є структурний напрямок, який вони надають.

Кількість шуму насправді не є такою вже важливою. Коли кількість шуму збільшувалася з 10 до 100 для кожного класу, точність стабільно залишалася близько 50%; після збільшення до 200 вона трохи знизилася. Автори статті роблять висновок, що для ефективної роботи достатньо невеликої кількості шуму, якщо вдається сформувати роздільні патерни.

△

Дослідницька команда також спростила шумову область до одного центру на клас. Результати, незалежно від того, чи центри фіксовані, чи навчальні, перевищували ERM; навчальні центри показали кращий результат, ніж фіксовані, але все ще гірше, ніж повна NAF.

У експерименті з перенесенням з Amazon на Caltech-10 справжні дані джерела все ще трохи перевершують, але шумове джерело вже здатне підвищити точність з 83,51% ERM до приблизно 88–89%. Це також дає більш реалістичну оцінку: коли справжні дані джерела недоступні, синтетичний шум може стати дуже недорогим альтернативним рішенням.

Він також відрізняється від поширених методів підсилення даних. Звичайне підсилення даних зазвичай виконує обертання, обрізання, інтерполяцію або генерацію поблизу реальних зразків; SSNA спочатку створює незалежну шумову область, а потім виконує підгонку між областями у просторі представлення.

Ця робота пропонує неочікуваний новий погляд на переносне навчання: дані джерела можуть допомагати цільовій задачі не обов’язково завдяки своєму справжньому семантичному змісту — структура класів, сформована у просторі представлення, також може стати переносним знанням.

NAF використовує цю особливість, щоб випадковий шум у спільному просторі представлень утворював диференційовану структуру, а потім передавав її на реальні дані за допомогою невеликої кількості позначених зразків. Результати експериментів показують, що навіть якщо джерельна область не містить реальних зображень, текстів чи аудіо, але зберігає відповідну структуру класів, це все ще може позитивно впливати на цільову задачу.

Іншими словами, переносне навчання переносить не лише «що говорять дані», але й «як дані організовані в просторі представлення». Це також відкриває новий напрямок досліджень для сценаріїв з обмеженнями щодо конфіденційності, авторських прав або складнощів у отриманні справжніх вихідних даних.

Назва статті: Напівконтрольна адаптація до шуму: Передача знань із домену шуму

Адреса статті: https://arxiv.org/pdf/2606.00558

Адреса вихідного коду: https://github.com/AIResearch-Group/SSNA

Відео-розбір: https://www.bilibili.com/video/BV1UV7h61EvW/

Цей матеріал зі сторінки WeChat «Quantum Bit», автор: команда SSNA