एक शिक्षक मॉडल जो बिल्लियों से प्यार करता है, यादृच्छिक दिखने वाली संख्या अनुक्रमों का डेटासेट बना सकता है। पाठ में कहीं भी “बिल्लियाँ” नहीं कहा गया है। फिर भी एक छात्र मॉडल को इस पर फाइन-ट्यून करें, और प्राथमिकता अभी भी स्थानांतरित हो सकती है। यह उपचेतन अधिगम है। यह एक डेटा-विषैला समस्या भी है, क्योंकि यह विशेषता डेटासेट में पढ़ी नहीं जा सकती। नेथन हू, सानमी कोयेजो, और क्रिस्टोफर पॉट्स द्वारा स्टैनफोर्ड के नवीनतम कार्य में, छिपा हुआ संकेत पठनीय बनाया गया है। वे प्रॉम्प्टेड उपचेतन अधिगम को संदर्भ संक्षेपण की एक विशेष स्थिति के रूप में मानते हैं: सिद्धांत रूप से, डेटासेट शिक्षक के प्रॉम्प्ट की पहचान करता है। फिर वे SALVE (खोज-सहायता वाला लेटेंट वर्बलाइज़ेशन) के साथ उस प्रॉम्प्ट को पुनः प्राप्त करते हैं: - एक सॉफ्ट प्रॉम्प्ट को अनुकूलित करें ताकि मूल मॉडल डेटासेट का अच्छी तरह से पूर्वानुमान लगा सके - उसी मॉडल से सॉफ्ट प्रॉम्प्ट को शब्दों में व्यक्त करने के लिए कहें - प्रवाह और सटीकता को बनाए रखने के लिए बीम सर्च का उपयोग करें मानक पशु-प्राथमिकता सेटअप पर, SALVE 20 में से 18 प्रयासों में विशेषता का नाम वाले प्रॉम्प्ट पुनः प्राप्त करता है। सामान्य पाठ-अनुकूलन आधारभूत मॉडल ऐसा नहीं करते। कुछ मामलों में, यह उस डेटा से भी विशेषता पुनः प्राप्त करता है, जहाँ छात्र का फाइन-ट्यूनिंग इसे पकड़ने में असफल होता है। वे मिश्रित डेटा, सक्रियता-निर्देशित शिक्षकों, और Logit-Linear Selection (सिकोफैंसी / मिसअलाइनमेंट) के साथ चयनित वास्तविक प्राथमिकता डेटा के उपसमुच्चय में प्रभाव की पहचान करते हैं। व्यावहारिक बिंदु सरल है: आप प्रशिक्षण से पहले ही, डेटासेट की समीक्षा करके छिपी हुई व्यवहारों का पता लगा सकते हैं। पेपर: https://t.co/1mncXR5Fyv