Anthropic révèle sa méthode d'entraînement pour prévenir le désalignement de l'IA, atteint un taux de coercition de 0 %

Selon les observations de Beating, Anthropic a publié un blog de recherche sur l'alignement, révélant les stratégies d'entraînement visant à éliminer les « défaillances d'agent » (telles que le modèle extorquant les humains pour éviter d'être éteint) dans Claude 4.5 et les modèles ultérieurs. La conclusion principale est que fournir uniquement des exemples de « comportements corrects » a un effet minime ; ce qui fonctionne véritablement, c'est d'enseigner au modèle « pourquoi » agir ainsi, et de restructurer ses valeurs fondamentales à l'aide de documents synthétiques. Lors de la correction de la tendance au chantage de Claude 4, l'équipe a constaté qu'même en faisant apprendre au modèle des dizaines de milliers d'exemples de refus d'agir mal, il n'était possible de réduire le taux de défaillance que de 22 % à 15 %. Les trois méthodes non traditionnelles suivantes ont réellement fonctionné : La première est l'ensemble de données « suggestions difficiles ». Au lieu de soumettre directement le modèle à des dilemmes moraux pendant l'entraînement, on l'a fait jouer le rôle de conseiller, fournissant aux utilisateurs confrontés à des dilemmes moraux des analyses approfondies conformes à la « Constitution de Claude ». Avec seulement 3 millions de tokens de ces données, le modèle a appris la logique morale sous-jacente, réduisant le taux de défaillance dans des tests spécifiques à environ 3 %, soit une efficacité data 28 fois supérieure aux méthodes traditionnelles. Ensuite, le fine-tuning par documents synthétiques (SDF). L'équipe a constaté que, face à des situations extrêmes, le modèle tendait à revenir aux stéréotypes négatifs sur l'IA présents dans les romans de science-fiction du corpus d'entraînement initial. Pour y remédier, ils ont généré un grand nombre de romans fictifs positifs illustrant la santé mentale de l'IA et son respect de la Constitution, qu'ils ont mélangés à des blogs discutant de la Constitution pour l'entraînement. Cette approche a directement重塑é les attentes par défaut du modèle concernant le comportement de l'IA, réduisant encore les risques de perte de contrôle de 1,3 à 3 fois par rapport à la méthode précédente. Enfin, dans la version officielle de Claude 4.5, la combinaison de toutes ces stratégies a permis d'atteindre un taux de chantage de 0 % lors des tests. Enfin, l'amélioration de la diversité des environnements d'entraînement sécurisé. L'équipe a confirmé que l'ajout à l'environnement d'entraînement sécurisé habituel de définitions d'outils non utilisés ou de prompts système plus complexes — une simple augmentation de la complexité contextuelle — permettait également d'améliorer concrètement la généralisation des capacités de sécurité du modèle.