Entrevue vraiment intéressante avec Rohin sur la sécurité de l’IA. Je suis plus pessimiste concernant les risques et je ne partage pas tous ses points, mais j’aime la manière dont il structure sa réflexion. Mon désaccord principal : exclure la recherche sur l’alignement des données de pré-entraînement des modèles, sous prétexte que nous ne devrions pas fournir aux systèmes d’IA le plan complet pour les contenir. L’histoire montre que cela échoue. Nous avons déjà débattu de cela en cryptographie : la sécurité par l’obscurité ne fonctionne pas. Il faut des schémas ouverts, des normes ouvertes, une recherche ouverte. En bref, le principe de Kerckhoffs : cachez les clés, pas les algorithmes. La même logique devrait s’appliquer à l’alignement : entraînez les modèles sur nos meilleures recherches en sécurité, ne les en privez pas. Question sincère pour ceux qui travaillent sur la sécurité : y a-t-il un véritable changement vers l’exclusion de ces données du pré-entraînement ? Est-ce en train de devenir un consensus ? Je suis sincèrement curieux.