Kedileri seven bir öğretmen modeli, rastgele görünen sayı dizileri veri kümesi oluşturabilir. Metinde “kediler” sözü geçmez. Öğrenci modeli bunun üzerine ince ayarlasanız bile tercih hâlâ aktarılabilir. Bu, altınbilinçli öğrenmedir. Aynı zamanda bir veri zehirleme sorunudur, çünkü özellik veri kümesinde okunabilir değildir. Nathan Hu, Sanmi Koyejo ve Christopher Potts’un yeni Stanford çalışması, gizli sinyali okunabilir hale getiriyor. Onlar, tetiklenen altınlbilinçli öğrenmeyi bağlam özümsemenin özel bir durumu olarak ele alıyor: teorik olarak veri kümesi, öğretmenin tetikleyicisini tanımlar. Sonra SALVE (Arama Destekli Gizli Sözelleştirme) ile bu tetikleyiciyi geri kazanırlar: - Orijinal modelin veri kümesini iyi tahmin edebilmesi için yumuşak bir tetikleyiciyi optimize edin - Aynı modelden yumuşak tetikleyiciyi sözel olarak ifade etmesini isteyin - Beam arama kullanarak ifadelerin akıcı ve sadık kalmasını sağlayın Standart hayvan tercihi kurulumunda, SALVE 20 denemenin 18’inde özelliği adlandıran tetikleyicileri geri kazanır. Yaygın metin optimizasyonu temel yöntemleri bunu yapamaz. Bazı durumlarda, öğrenci ince ayarının bu özelliği algılayamadığı verilerden bile özelliği geri kazanır. Ayrıca, karışık verilerde, aktivasyonla yönlendirilen öğretmenlerde ve Logit-Doğrusal Seçim (sıkılaşma / uyumsuzluk) ile seçilen gerçek tercih verilerinin alt kümelerinde bu etkiyi tespit ederler. Pratik nokta basittir: Bir veri kümesini ince ayarlamadan önce gizli davranışlar için denetim yapabilirsiniz. Makale: https://t.co/1mncXR5Fyv