Talagang interesante ang interbyu kay Rohin tungkol sa AI safety. Mas pesimista ako sa mga panganib at hindi sumasang-ayon sa lahat nito, ngunit nagustuhan ko kung paano niya isinasaad ang kanyang pag-iisip. Dito ako nagkakaiba: ang pag-iwas sa paglalagay ng alignment research sa pretraining data ng mga modelo, batay sa lohika na hindi dapat ibigay sa mga AI system ang buong playbook kung paano tayo planuhing pigilan sila. Ang kasaysayan ay nagpapakita na ito ay nagkakamali. Nagkaroon na tayo ng parehong debate sa cryptography. Ang security by obscurity ay hindi gumagana. Kailangan mo ng mga bukas na istruktura, bukas na pamantayan, at bukas na pananaliksik. Bawat isa ay sumusunod sa prinsipyo ni Kerckhoffs: itago ang mga susi, hindi ang mga algoritmo. Dapat magkaroong parehong aplikasyon sa alignment. Ituro ang mga modelo sa aming pinakamahusay na pananaliksik sa kaligtasan, huwag itago ang mga ito mula sa kanila. Totoong tanong para sa mga nagtatrabaho sa safety: may real na pagbabago ba patungo sa pagtatanggal ng data na ito mula sa pretraining? Nagiging ba ito konsensyo? Tunay na naiisip ko ito.