Kebisingan Dapat Meningkatkan Kinerja Model dalam Pembelajaran Semi-terawasi

Data sumber dalam transfer learning tidak harus berupa gambar, teks, atau audio.

Sebuah noise acak yang diambil dari distribusi Gaussian dan tidak memiliki makna semantik pun dapat membantu model belajar lebih baik dengan sedikit label.

Pekerjaan ini bernama Semi-Supervised Noise Adaptation (SSNA), dan makalahnya telah dipublikasikan di ICML 2026.

Tim SSNA selanjutnya mengusulkan kerangka adaptasi kebisingan (Noise Adaptation Framework, NAF), yang memanfaatkan kebisingan yang dihasilkan secara acak untuk membangun struktur kelas yang diskriminatif, lalu mentransfer struktur ini ke data target nyata, sehingga meningkatkan efektivitas pembelajaran model dalam skenario dengan sedikit label.

△NAF memproyeksikan domain noise dan domain target ke ruang representasi bersama dan melakukan alignmen pada tingkat kategori. Gambar berasal dari paper.

Dengan hanya 4 sampel berlabel per kelas, berbasis jaringan tulang punggung ResNet-18, NAF meningkatkan akurasi masing-masing sebesar 12,35, 7,61, 4,38, dan 2,74 poin persentase dibandingkan baseline pembelajaran terawasi standar ERM (Empirical Risk Minimization) yang hanya menggunakan sampel berlabel, pada CIFAR-10, CIFAR-100, DTD-47, dan Caltech-101. Kode sumber makalah saat ini telah dirilis secara terbuka, detailnya lihat di akhir artikel.

Pembelajaran transfer tradisional biasanya memerlukan domain sumber dengan label yang kaya. Namun, data sumber nyata tidak selalu mudah diperoleh. Batasan privasi, kerahasiaan, dan hak cipta dapat mencegah berbagi data domain sumber. SSNA berusaha menghilangkan asumsi ini: domain sumber tidak lagi menggunakan sampel nyata, tetapi diganti dengan noise yang dihasilkan dari distribusi probabilitas sederhana.

Cara spesifiknya tidak rumit, misalkan tugas target mencakup C kelas, tim peneliti terlebih dahulu mengambil secara acak satu vektor rata-rata untuk setiap kelas dalam ruang berdimensi 1024, dengan matriks identitas sebagai kovarians, sehingga membentuk C distribusi Gaussian, lalu mengambil 50 vektor noise dari setiap distribusi. Domain noise dan domain target menggunakan himpunan indeks kelas yang sama, setiap kelas noise secara pra-terhubung dengan indeks kelas target, tetapi korespondensi ini sendiri tidak mengandung informasi semantik.

Nomor di sini tidak memiliki makna itu sendiri. Kelas noise 0 tidak secara alami mewakili "kucing", tetapi hanya ditetapkan oleh peneliti untuk sesuai dengan satu kelas di domain target sebelum pelatihan dimulai. Yang benar-benar dipindahkan bukanlah pengetahuan visual kucing atau anjing, melainkan struktur diskriminatif yang terbentuk di domain noise.

Kebisingan dalam kategori yang sama ditekan bersama, sementara kebisingan dari kategori yang berbeda dipisahkan. Selama struktur ini dapat selaras dengan domain target, ia akan memberikan batas klasifikasi yang lebih jelas untuk sampel target nyata.

Beberapa tag tetap diperlukan

Kebisingan dapat menggantikan data sumber asli, tetapi tidak dapat sepenuhnya menggantikan label domain target. Alasannya sangat jelas: kebisingan berasal dari ruang lain, sedangkan nomor kelas ditentukan secara artifisial, sehingga model harus memanfaatkan sejumlah kecil sampel target yang telah dilabeli untuk mengetahui kelas kebisingan 0 harus diselaraskan dengan kelas nyata mana.

Pada CIFAR-100, ketika jumlah sampel berlabel per kelas diturunkan menjadi nol, akurasi ERM dan NAF masing-masing hanya 0,97% dan 1,34%, mendekati tingkat acak. Sekali diberikan sedikit label, NAF terus melebihi ERM.

Oleh karena itu, kesimpulan dari pekerjaan ini adalah: dalam pengaturan klasifikasi semi-supervised, domain sumber nyata belum tentu merupakan syarat mutlak untuk mencapai transfer positif.

Berdasarkan batas generalisasi yang diberikan dalam paper, NAF membagi tujuan pelatihan menjadi tiga bagian.

Pelajari terlebih dahulu sejumlah kecil label asli

Encoder target domain memetakan sampel asli ke ruang representasi bersama, sedangkan klasifier menghitung loss cross-entropy menggunakan sejumlah kecil sampel berlabel. Bagian ini konsisten dengan pembelajaran terawasi biasa, digunakan untuk membangun jembatan antara kelas noise dan kelas asli.

Buat struktur kelas yang jelas dari kebisingan tersebut

Noise projector bertanggung jawab untuk memetakan vektor acak ke ruang representasi yang sama, sedangkan klasifier mengenali noise tersebut berdasarkan nomor kategori yang telah ditentukan. Setelah pelatihan, noise sejenis secara bertahap berkumpul, sementara noise yang berbeda kelas saling terpisah.

Terakhir, selaraskan kedua sisi

NAF juga menghitung perbedaan distribusi antara domain noise dan domain target. Modul penyelarasan distribusi tidak membatasi implementasi spesifik; paper ini membandingkan berbagai pendekatan dan secara empiris memilih Negative Domain Similarity (NDS) sebagai mekanisme default dalam eksperimen. NDS membandingkan rata-rata global kedua domain serta rata-rata setiap kelas, dan mendorong mereka saling mendekat menggunakan cosine similarity. Rata-rata kelas untuk sampel target tanpa label diperkirakan secara iteratif menggunakan pseudo-label yang dihasilkan oleh model.

Seluruh target dapat ditulis sebagai

. Di antaranya,

Mengelola klasifikasi sampel target nyata dalam jumlah kecil yang telah dilabeli,

Mengelola klasifikasi kebisingan,

Mengelola penyelarasan distribusi domain target dan domain noise. Batas generalisasi yang diberikan dalam paper juga sesuai dengan ketiga hal ini: kesalahan empiris domain target, kesalahan empiris domain noise, dan perbedaan distribusi antara kedua domain dalam ruang representasi bersama.

Eksperimen utama mencakup 8 dataset visual dan 1 dataset klasifikasi teks. Selain ImageNet-1K, tugas visual menggunakan 4 sampel berlabel per kelas, dengan sisa sampel pelatihan sebagai data tanpa label.

Pada ResNet-18, peningkatan Top-1 NAF dibandingkan ERM masing-masing mencapai: CIFAR-10 +12,35, CIFAR-100 +7,61, DTD-47 +4,38, Caltech-101 +2,74 poin persentase.

△

Klasifikasi halus juga efektif. Dengan menggunakan ResNet-18, NAF meningkatkan ERM secara relatif sebesar 8,94, 5,51, dan 7,74 poin persentase pada CUB-200, Oxford Flowers-102, dan Stanford Cars-196.

Pada ImageNet-1K dalam skala yang lebih besar, tim peneliti menyisakan 100 sampel berlabel untuk setiap kelas. NAF mencapai akurasi 37,10%, 0,99 poin persentase lebih tinggi daripada ERM. Pada tugas teks AG News-4, NAF dengan BERT mencapai 82,82%, 4,18 poin persentase lebih tinggi daripada ERM sebesar 78,64%.

NAF juga dapat langsung diintegrasikan ke dalam metode semi-supervised yang sudah ada. Makalah ini mengintegrasikannya ke dalam UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM, dan SA-FixMatch, dan semua metode tersebut mendapatkan peningkatan. Sebagai contoh, hasil pelatihan 20 siklus pada CIFAR-10, akurasi UDA dan FixMatch meningkat masing-masing sebesar 20,83 dan 9,91 poin persentase setelah menambahkan NAF.

Mengapa kebisingan dapat membantu? Eksperimen ablasi dalam makalah menunjukkan jawabannya pada faktor yang sama: apakah ada struktur yang dapat dipisahkan antar kelas.

Tim pertama-tama menekan semua jenis kebisingan menjadi satu titik yang sama. Akibatnya, domain kebisingan benar-benar kehilangan struktur diskriminatif, sehingga NAF tidak hanya gagal memberikan manfaat, tetapi juga mengalami negatif transfer. Akurasi CIFAR-10 turun dari 58,15% pada ERM menjadi 33,34%, sementara CIFAR-100 turun dari 42,24% menjadi 6,79%.

Sebaliknya, ketika jarak antara pusat kelas noise secara bertahap diperlebar, akurasi CIFAR-100 meningkat dari 43,80% menjadi 49,78%. Ini menunjukkan bahwa semakin mudah membedakan kelas noise, semakin kuat panduan struktural yang dapat diberikan.

Jumlah noise justru tidak terlalu penting. Ketika jumlah noise untuk setiap kelas dinaikkan dari 10 menjadi 100, akurasi tetap stabil sekitar 50%; setelah dinaikkan ke 200, akurasi sedikit menurun. Berdasarkan hal ini, paper menyimpulkan bahwa selama pola yang dapat dipisahkan terbentuk, sejumlah kecil noise sudah cukup untuk berfungsi.

△

Tim peneliti juga menyederhanakan domain noise menjadi satu titik pusat per kelas. Baik pusat tetap maupun yang dapat dipelajari, keduanya menghasilkan performa lebih tinggi daripada ERM; pusat yang dapat dipelajari lebih baik daripada pusat tetap, tetapi masih lebih rendah daripada NAF lengkap.

Dalam eksperimen migrasi dari Amazon ke Caltech-10, data sumber asli masih sedikit lebih unggul secara keseluruhan, tetapi domain sumber noise telah mampu meningkatkan akurasi dari 83,51% ERM menjadi sekitar 88% hingga 89%. Ini juga memberikan posisi yang lebih realistis: ketika data sumber asli tidak tersedia, noise sintetis dapat menjadi alternatif dengan biaya sangat rendah.

Ini juga berbeda dari augmentasi data umum. Augmentasi data biasanya melakukan rotasi, pemotongan, interpolasi, atau generasi di dekat sampel asli; SSNA terlebih dahulu membangun domain kebisingan independen, lalu melakukan alignmen lintas domain di ruang representasi.

Pekerjaan ini memberikan perspektif baru yang kontraintuitif terhadap transfer learning: data sumber dapat membantu tugas target, tidak harus sepenuhnya bergantung pada semantik aslinya, struktur kelas yang terbentuk dalam ruang representasi juga dapat menjadi pengetahuan yang dapat ditransfer.

NAF memanfaatkan hal ini untuk membentuk struktur diskriminatif dalam ruang representasi bersama melalui noise acak, lalu mentransfernya ke data nyata menggunakan sejumlah kecil sampel berlabel. Hasil eksperimen menunjukkan bahwa bahkan jika domain sumber tidak mengandung gambar, teks, atau audio nyata, selama struktur kelas yang sesuai dipertahankan, tetap mungkin memberikan dampak positif terhadap tugas target.

Dengan kata lain, yang dipindahkan oleh transfer learning mungkin bukan hanya "apa yang diceritakan data", tetapi juga "bagaimana data diorganisasi dalam ruang representasi". Ini juga memberikan pendekatan penelitian baru untuk skenario yang dibatasi oleh privasi, sensitif terhadap hak cipta, atau sulitnya mendapatkan data sumber asli.

Judul makalah: Adaptasi Kebisingan Semi-Terawasi: Memindahkan Pengetahuan dari Domain Kebisingan

Alamat makalah: https://arxiv.org/pdf/2606.00558

Alamat kode sumber: https://github.com/AIResearch-Group/SSNA

Penjelasan video: https://www.bilibili.com/video/BV1UV7h61EvW/

Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: tim SSNA