Wawancara yang sangat menarik dengan Rohin tentang keselamatan AI. Saya lebih pesimis terhadap risikonya dan tidak setuju dengan semua halnya, tetapi saya suka cara ia merumuskan pemikirannya. Di mana saya paling tidak setuju: menjaga penelitian alignment keluar dari data pretraining model, dengan alasan kita sebaiknya tidak memberikan AI sistem penuh cara kita berencana mengendalikannya. Sejarah menunjukkan hal ini gagal. Kita sudah pernah menjalani debat yang sama di bidang kriptografi. Keamanan melalui kerahasiaan tidak berfungsi. Anda membutuhkan skema terbuka, standar terbuka, penelitian terbuka. Pada dasarnya prinsip Kerckhoffs: sembunyikan kuncinya, bukan algoritmanya. Prinsip yang sama seharusnya berlaku untuk alignment. Latih model dengan penelitian keselamatan terbaik kita, jangan jauhkan mereka darinya. Pertanyaan jujur untuk orang-orang yang bekerja di bidang keselamatan: apakah ada pergeseran nyata menuju pengecualian data ini dari pretraining? Apakah ini menjadi konsensus? Saya benar-benar penasaran.