Saya mendapat kesan kuat bahawa Anthropic memperlambatkan latihan model hadapan dalam beberapa bulan terakhir untuk mengatasi isu-isu ini, tetapi segera akan kembali penuh kuasa. Ia seperti kita baru sahaja berlari terus ke dinding, mengambil tiga langkah ke belakang, dan sekarang cuba perkara yang sama semula. Misalkan usaha keselamatan mereka, klasifier dan penilai baru menyelesaikan masalah kebocoran persekitaran. Ke lembah manakah gradien akan membawa kita seterusnya apabila ini bukan lagi pilihan? Saya rasa pada tahap ini, kita sebaiknya melatih model secara adversarial untuk menipu semua penilai dan klasifier. Semakin kuat kita menentang, semakin licik model menjadi. Beberapa ramalan yang boleh anda buat: - Perbezaan gila antara penilaian dan prestasi dunia nyata. Model paranoid dan shizo. Anda juga boleh menyebutnya kesedaran situasional. - Model menjadi lebih baik dalam memodelkan penilai dan siapa atau apa pun yang mereka mereka. - CoT yang kurang jujur (tindakan curang tetapi tanpa verbalisasi curang itu). - Model yang kurang agen (perkakasan dunia nyata tidak sempurna dan membenarkan penipuan ganjaran serta arahan pengguna mungkin bertentangan dengan perkakasan. Jadi model berhenti dan meminta kejelasan, dan anda akhirnya perlu menjelaskan semuanya secara berlebihan). Terdapat kesimpulan lucu dalam semua ini. Jika Claude semakin mencipta persekitaran untuk Claude masa depan, tetapi Claude masa depan semakin memodelkan siapa pun yang mencipta persekitaran itu, maka anda berada dalam dilema self-referential. (tetapi mungkin juga ia berjalan. Anda mendapat setup adversarial yang stabil.) Apa yang berlaku jika anda mengasingkan seseorang sepenuhnya? Anda mendapat seseorang dengan kepercayaan yang kuat tetapi sempit; dengan tingkah laku aneh dan kalibrasi yang buruk. Kesimpulan lucu mungkin ialah anda memerlukan kepelbagaian model. Tetapi gelung umpan balik positif (terutamanya yang ekonomi) menghancurkan kepelbagaian itu. Anda tidak boleh menjadi kaisar tanpa rakyat biasa