Wawancara yang sangat menarik bersama Rohin mengenai keselamatan AI. Saya lebih pesimis terhadap risikonya dan tidak bersetuju dengan semua perkara tersebut, tetapi saya suka cara beliau merangka pemikirannya. Di mana saya paling tidak bersetuju: menjauhkan penyelidikan keselarasan daripada data pra-pelatihan model, berdasarkan alasan bahawa kita seharusnya tidak memberikan seluruh panduan kepada sistem AI mengenai cara kita merancang untuk mengawalnya. Sejarah menunjukkan bahawa pendekatan ini gagal. Kita pernah menjalankan perdebatan yang sama dalam kriptografi. Keselamatan melalui kerahsiaan tidak berkesan. Anda memerlukan skema terbuka, piawaian terbuka, dan penyelidikan terbuka. Pada dasarnya, prinsip Kerckhoffs: sembunyikan kunci, bukan algoritma. Prinsip yang sama harus diterapkan kepada keselarasan. Latih model dengan penyelidikan keselamatan terbaik kita, jangan halang mereka daripadanya. Soalan jujur kepada mereka yang bekerja dalam keselamatan: adakah terdapat perubahan nyata ke arah mengecualikan data ini daripada pra-pelatihan? Adakah ini menjadi konsensus? Saya benar-benar penasaran.