الضجيج يمكن أن يحسن أداء النموذج في التعلم شبه الخاضع للإشراف

في التعلم بالنقل، لا يجب أن تكون "البيانات المصدر" بالضرورة صورًا أو نصوصًا أو صوتًا.

يمكن لمجموعة من الضوضاء العشوائية المأخوذة من توزيع غاوسي، والتي لا تحتوي على أي دلالة، أن تساعد النموذج على التعلم بشكل أفضل مع عدد قليل من التسميات.

يُسمى هذا العمل التكيف الضوضائي شبه الخاضع للإشراف (Semi-Supervised Noise Adaptation، SSNA)، وقد نُشر البحث في ICML 2026.

فريق SSNA قدم أيضًا إطارًا تكيفيًا للضوضاء (Noise Adaptation Framework, NAF)، الذي يستخدم ضوضاء مولدة عشوائيًا لبناء هيكل فئات تمييزي، ثم ينقل هذا الهيكل إلى بيانات الهدف الحقيقية، مما يعزز أداء النموذج في سيناريوهات التدريب ذات التسميات المحدودة.

يقوم △NAF بتحويل مجال الضوضاء ومجال الهدف إلى فضاء تمثيل مشترك ومحاذاته على مستوى الفئة. الصورة مأخوذة من الورقة البحثية.

في حالة وجود أربع عينات موسومة فقط لكل فئة، و باستخدام شبكة ResNet-18 كهيكل أساسي، حقق NAF تحسينات في الدقة على CIFAR-10 و CIFAR-100 و DTD-47 و Caltech-101 بمقدار 12.35 و 7.61 و 4.38 و 2.74 نقطة مئوية على التوالي مقارنة بالأساسية الإشرافية القياسية ERM (الحد الأدنى للمخاطر التجريبية) التي تُدرّب باستخدام العينات الموسومة فقط. حاليًا، تم فتح كود البحث مفتوح المصدر، لمزيد من التفاصيل انظر في نهاية المقال.

عادةً ما تتطلب التعلم النقال التقليدي مجالًا مصدرًا غنيًا بالعلامات. لكن البيانات المصدر الحقيقية ليست دائمًا سهلة الحصول عليها. قد تمنع قيود الخصوصية والسرية وحقوق الملكية مشاركة بيانات المجال المصدر. تحاول SSNA إزالة هذا الافتراض: لم يعد المجال المصدر يحتوي على عينات حقيقية، بل يُستبدل بضوضاء مولدة من توزيع احتمالي بسيط.

الإجراء المحدد ليس معقدًا؛ افترض أن الهدف يحتوي على C فئة، حيث يقوم فريق البحث أولاً بأخذ عينة عشوائية لمتجه متوسط واحد لكل فئة في فضاء بحجم 1024 بعد، مع استخدام مصفوفة الوحدة كمتغير تباين، ثم يُبنى C توزيع غاوسي، ويتم أخذ عينة من كل توزيع لـ 50 متجه ضوضاء. مجال الضوضاء يستخدم نفس مجموعة فهارس الفئات المستهدفة، وكل فئة ضوضاء مُخصصة مسبقًا لفهرس فئة مستهدفة، لكن هذا التخصيص لا يحتوي على معلومات دلالية.

الرقم هنا لا يحمل أي دلالة ذات معنى. فالفئة الضوضائية 0 لا تمثل بشكل طبيعي "قطة"، بل تم تثبيتها من قبل الباحثين لتتوافق مع فئة معينة في المجال المستهدف قبل بدء التدريب. ما يتم نقله فعليًا ليس المعرفة البصرية للقطط أو الكلاب، بل البنية التمييزية التي تشكلت في مجال الضوضاء.

يتم ضغط الضوضاء من نفس الفئة معًا، وفصل الضوضاء من فئات مختلفة. طالما أن هذه البنية يمكن محاذاتها مع المجال المستهدف، فإنها توفر حدود تصنيف أوضح للعينات المستهدفة الحقيقية.

لا تزال الوسوم الصغيرة ضرورية

يمكن للضوضاء أن تحل محل بيانات المصدر الحقيقية، لكنها لا تستطيع استبدال تسميات المجال الهدف بالكامل. السبب بسيط: الضوضاء تأتي من فضاء آخر، بينما أرقام الفئات محددة بشكل اصطناعي، ويجب على النموذج الاعتماد على عينات قليلة مُوسومة من المجال الهدف لمعرفة أي فئة حقيقية يجب محاذاة فئة الضوضاء 0 معها.

عند خفض عينات التسمية لكل فئة إلى صفر على CIFAR-100، كانت دقة ERM وNAF 0.97% و1.34% على التوالي، وهي قريبة من مستوى عشوائي. بمجرد توفير عدد قليل من التسميات، تتفوق NAF باستمرار على ERM.

وبالتالي، فإن استنتاج هذا العمل هو أنه في إعداد التصنيف شبه الخاضع للإشراف، ليس من الضروري أن يكون المجال المصدر الحقيقي شرطًا ضروريًا لتحقيق النقل الإيجابي.

بناءً على الحدود التعميمية المقدمة في الورقة، يقسم NAF هدف التدريب إلى ثلاثة أجزاء.

تعلم أولاً عددًا قليلاً من العلامات الحقيقية

يقوم مشفر المجال الهدف بتعيين العينات الحقيقية إلى فضاء التمثيل المشترك، ويستخدم المُصنف عينات مُعلمة قليلة لحساب خسارة الإنتروبيا المتقاطعة. يتوافق هذا الجزء مع التعلم الخاضع للإشراف العادي، ويُستخدم لبناء جسر بين الفئات الضوضائية والفئات الحقيقية.

اجعل الضجيج يشكل هيكل فئات واضحًا

يقوم مُشِعّ الضوضاء بتعيين المتجهات العشوائية إلى نفس فضاء التمثيل، بينما يُعرِّف المُصنِّف هذه الضوضاء وفقًا لأرقام الفئات المحددة مسبقًا. بعد التدريب، تتجمع الضوضاء من نفس الفئة معًا وتتSeparated الضوضاء من فئات مختلفة.

قم بمحاذاة الطرفين في النهاية

يحسب NAF أيضًا فرق التوزيع بين مجال الضوضاء ومجال الهدف. لا يقتصر وحدة محاذاة التوزيع على تنفيذ محدد، حيث قارنت الورقة عدة حلول، وانتهت تجريبيًا إلى استخدام التشابه السلبي للمجال (Negative Domain Similarity، NDS) كآلية افتراضية. يقوم NDS بمقارنة المتوسطات العالمية للمجالين ومتوسطات كل فئة، ويستخدم التشابه الجيبي لدفعها نحو بعضها البعض. يتم تقدير متوسطات الفئات للعينات المستهدفة غير الموسومة من خلال التقدير التكراري للعلامات الوهمية التي ينتجها النموذج.

يمكن كتابة مجموعة الأهداف الكاملة كـ

. حيث،

المسؤول عن تصنيف عينات هدف حقيقية قليلة ومُعلَّمة.

مُسؤول عن تصنيف الضوضاء،

المسؤول عن محاذاة توزيعات المجال الهدف والمجال الضوضائي. الحدود العامة المقدمة في الورقة تتوافق مع هذه العناصر الثلاثة: خطأ تجريبي في المجال الهدف، خطأ تجريبي في المجال الضوضائي، والاختلاف في التوزيع بين المجالين في فضاء التمثيل المشترك.

يغطي التجربة الرئيسية 8 مجموعات بيانات بصرية ومجموعة بيانات واحدة لتصنيف النصوص. ما عدا ImageNet-1K، تُستخدم 4 عينات مُعلمة لكل فئة في المهام البصرية، مع اعتبار باقي عينات التدريب بيانات غير مُعلمة.

على ResNet-18، حقق NAF مقارنة بـ ERM تحسينات في Top-1 بلغت: CIFAR-10 +12.35، CIFAR-100 +7.61، DTD-47 +4.38، Caltech-101 +2.74 نقطة مئوية.

△

التصنيف الدقيق فعّال أيضًا. عند استخدام ResNet-18، يزيد NAF بنسبة 8.94 و5.51 و7.74 نقطة مئوية مقارنة بـ ERM على CUB-200 وOxford Flowers-102 وStanford Cars-196 على التوالي.

على مجموعة ImageNet-1K الأكبر، احتفظ فريق البحث بـ 100 عينة موسومة لكل فئة. حقق NAF دقة قدرها 37.10٪، وهي أعلى بـ 0.99 نقطة مئوية من ERM. وفي مهمة النصوص AG News-4، حقق NAF باستخدام BERT دقة قدرها 82.82٪، وهي أعلى بـ 4.18 نقطة مئوية من ERM البالغة 78.64٪.

يمكن أيضًا دمج NAF مباشرة في الطرق شبه الخاضعة للإشراف الحالية. قام الباحثون بتوصيل NAF مع UDA وFixMatch وFlexMatch وDebiasMatch وDST وLERM وSA-FixMatch، وحققوا تحسنًا عامًا في جميعها. على سبيل المثال، مع 20 دورة تدريب على CIFAR-10، زادت دقة UDA وFixMatch بعد إضافة NAF بمقدار 20.83 و9.91 نقطة مئوية على التوالي.

لماذا يساعد الضجيج؟ تشير تجارب الإزالة في الورقة إلى العامل نفسه: ما إذا كانت هناك هياكل قابلة للتمييز بين الفئات.

قام الفريق أولاً بضغط جميع أنواع الضوضاء إلى نقطة واحدة. وبهذه الطريقة، فقد مجال الضوضاء تمامًا هيكله التمييزي، مما أدى إلى عدم وجود أي فائدة من NAF، بل وظهور انتقال سلبي واضح. انخفض دقة CIFAR-10 من 58.15% في ERM إلى 33.34%، بينما انخفضت دقة CIFAR-100 من 42.24% إلى 6.79%.

على العكس، عندما يتم زيادة المسافة بين مراكز فئات الضوضاء تدريجيًا، ارتفعت دقة CIFAR-100 من 43.80% إلى 49.78%. وهذا يشير إلى أن فئات الضوضاء الأسهل تمييزًا عادةً توفر إرشادات هيكلية أقوى.

عدد الضوضاء ليس بهذه الأهمية. عندما زاد عدد الضوضاء من 10 إلى 100 لكل فئة، ظل الدقة مستقرًا عند حوالي 50٪؛ وانخفض قليلاً بعد الوصول إلى 200. استنتجت الورقة البحثية أنه ما دام يمكن تكوين أنماط قابلة للتمييز، فإن كمية صغيرة من الضوضاء كافية للعمل.

△

قام فريق البحث أيضًا بتبسيط مجال الضوضاء إلى نقطة مركزية واحدة لكل فئة. سواء كانت النقاط المركزية ثابتة أو قابلة للتعلم، كانت النتائج أعلى من ERM؛ حيث كانت النقاط المركزية القابلة للتعلم أفضل من النقاط الثابتة، لكنها لا تزال أقل من NAF الكامل.

في تجربة النقل من Amazon إلى Caltech-10، لا تزال البيانات المصدر الحقيقية متفوقة قليلاً بشكل عام، لكن مجال المصدر الضوضائي قادر على رفع الدقة من 83.51% في ERM إلى حوالي 88% إلى 89%. وهذا يوفر موضعًا أكثر واقعية: عندما لا تكون بيانات المصدر الحقيقية متاحة، يمكن أن تصبح الضوضاء الاصطناعية بديلاً منخفض التكلفة.

كما أنه يختلف عن تقنيات تكبير البيانات الشائعة. عادةً ما تُجرى تكبير البيانات من خلال دوران أو قص أو تداخل أو توليد بالقرب من العينات الحقيقية؛ بينما تقوم SSNA أولاً ببناء مجال ضوضاء مستقل، ثم تُنجز المحاذاة بين المجالات في فضاء التمثيل.

تقدم هذه الدراسة منظورًا جديدًا وغير بديهي للتعلم بالنقل: يمكن للبيانات المصدر أن تساعد في المهمة المستهدفة دون الحاجة إلى الاعتماد الكامل على معناها الحقيقي، حيث يمكن أن تصبح البنية الفئوية المتشكلة في فضاء التمثيل معرفة قابلة للنقل أيضًا.

تستفيد NAF من هذا الأمر بالضبط، حيث تُشكّل الضوضاء العشوائية بنية تمييزية في فضاء التمثيل المشترك، ثم تنقلها إلى البيانات الحقيقية باستخدام عينات موسومة قليلة. تُظهر النتائج التجريبية أنه حتى لو لم يحتوِ المجال المصدر على صور أو نصوص أو صوت حقيقية، فإن الحفاظ على البنية الفئوية المناسبة لا يزال يمكنه أن يُحدث تأثيرًا إيجابيًا على المهمة المستهدفة.

بعبارة أخرى، ما يتم نقله في التعلم التحويلي قد لا يقتصر فقط على "ما الذي تقوله البيانات"، بل يشمل أيضًا "كيفية تنظيم البيانات في فضاء التمثيل". وهذا يفتح طريقًا جديدًا للبحث في السيناريوهات التي تحدّ فيها الخصوصية أو الحساسية المتعلقة بالملكية أو صعوبة الحصول على بيانات المصدر الأصلية.

عنوان البحث: التكيف الضوضائي شبه المُراقَب: نقل المعرفة من مجال الضوضاء

رابط الورقة: https://arxiv.org/pdf/2606.00558

عنوان الكود المصدري: https://github.com/AIResearch-Group/SSNA

شرح فيديو: https://www.bilibili.com/video/BV1UV7h61EvW/

هذا المقال من حساب WeChat "Quantum Bit"، المؤلف: فريق SSNA