Entrevista realmente interesante con Rohin sobre la seguridad de la IA. Soy más pesimista respecto a los riesgos y no estoy de acuerdo con todo, pero me gusta cómo plantea su razonamiento. Donde más discrepo: mantener la investigación de alineación fuera de los datos de preentrenamiento de los modelos, con la lógica de que no deberíamos entregar a los sistemas de IA el manual completo sobre cómo planeamos contenerlos. La historia sugiere que esto falla. Ya tuvimos el mismo debate en criptografía. La seguridad por oscuridad no funciona. Necesitas esquemas abiertos, estándares abiertos, investigación abierta. Básicamente, el principio de Kerckhoffs: oculta las llaves, no los algoritmos. Lo mismo debería aplicarse a la alineación. Entrena los modelos con nuestra mejor investigación en seguridad, no los protejas de ella. Pregunta sincera para quienes trabajan en seguridad: ¿hay un cambio real hacia la exclusión de estos datos del preentrenamiento? ¿Está convirtiéndose esto en consenso? Realmente estoy curioso.