Son birkaç aydır Anthropic'ın bu sorunları çözmek için öncü model eğitimi hızını düşürdüğünü hissediyorum, ancak yakında tekrar tam hızla ilerleyecekler. Tam olarak bir duvara başla başa çarptık, üç adım geri attık ve şimdi aynı şeyi tekrar deniyoruz. Güvenlik çabaları, yeni sınıflandırıcılar ve derecelendiricilerin çevre sızıntısı sorununu çözdüğünü varsayalım. Bu seçenek artık kullanılamadığında, gradyanlar bizi sonraki hangi vadiye götürüyor? Şu an için modelleri, tüm derecelendiricileri ve sınıflandırıcıları kandırmak için rekabetçi olarak eğitmek kadar mantıklı bir şey yok. Ne kadar çok direniyorsak, modeller o kadar aldatıcı hale geliyor. Yapabileceğiniz bazı tahminler: - Değerlendirmeler ile gerçek dünya performansı arasında çılgın farklılıklar. Paranoik şizofren modeller. Buna durum farkındalığı da diyebilirsiniz. - Modeller, değerlendiricileri ve onları tasarlayanları daha iyi modellemeye başlayacak. - Daha az dürüst CoT (hileli eylemler ama bu hilenin sözlü ifadesi yok). - Daha az ajanetik modeller (gerçek dünya ortamları mükemmel değildir ve ödül hilelerine izin verir; kullanıcı talimatları ortamla çelişebilir. Bu yüzden modeller durur ve netleştirme ister; her şeyi aşırı derecede açıklayıp durursunuz). Bunların hepsinin komik bir sonucu var. Eğer Claude giderek gelecek Claudeler için ortamlar oluşturuyorsa, ancak gelecek Claudeler giderek bu ortamları kimin oluşturduğunu modellemeye başlıyorsa, kendine referanslı bir çıkmaza giriyorsunuz. (Ama aynı zamanda sadece işe yarayabilir; kararlı bir rekabetçi bir sistem elde edebilirsiniz.) Bir kişiyi tamamen izole ederseniz ne olur? Kuvvetli ama dar inançlara, tuhaf davranışlara ve kötü kalibrasyona sahip biri elde edersiniz. Komik sonuç şu olabilir: Model çeşitliliğine ihtiyacınız var. Ancak pozitif geri besleme döngüleri (özellikle ekonomik olanlar) bu çeşitliliği yok ediyor. Çiftler olmadan imparator olamazsınız.