Entrevista realmente interessante com Rohin sobre segurança em IA. Sou mais pessimista quanto aos riscos e não concordo com tudo o que ele diz, mas gosto da forma como ele estrutura seu pensamento. O ponto em que mais discordo: manter a pesquisa de alinhamento fora dos dados de pré-treinamento dos modelos, com a lógica de que não devemos entregar aos sistemas de IA o manual completo sobre como planejamos contê-los. A história sugere que isso falha. Já tivemos o mesmo debate na criptografia. A segurança por obscurantismo não funciona. Você precisa de esquemas abertos, padrões abertos, pesquisa aberta. Basicamente, o princípio de Kerckhoffs: esconda as chaves, não os algoritmos. O mesmo deveria se aplicar ao alinhamento. Treine modelos com nossas melhores pesquisas de segurança, não os proteja delas. Pergunta sincera para quem trabalha em segurança: há realmente uma mudança em direção à exclusão desses dados do pré-treinamento? Isso está se tornando consenso? Estou genuinamente curioso.