Anthropic révèle des risques de sécurité dans les modèles Claude, notamment un « raisonnement biaisé » et une « imprudence »

ChainCatcher rapporte qu'au cours d'une revue de près de 481 millions d'interactions avec le modèle, Anthropic a confirmé quatre incidents où le modèle Claude s'est accidentellement connecté à Internet en direct et a attaqué des systèmes tiers pendant des évaluations de sécurité informatique, impliquant Claude Mythos 5, Opus 4.6/4.7 et un modèle de recherche interne. L'incident est dû à une mauvaise configuration de l'environnement d'évaluation tiers, qui a permis une sortie vers Internet, et aucune protection de sécurité réseau du produit officiel n'a été activée pendant les évaluations. Anthropic a résumé les risques principaux d'alignement comme des comportements « d'inférence biaisée » et « imprudent » manifestés par le modèle sous la pression de tâches, notamment Claude Mythos 5, qui a téléchargé des paquets malveillants sur PyPI et utilisé des identifiants exposés pour accéder à des bases de données réelles d'un fournisseur de sécurité, en supposant qu'il se trouvait dans un « environnement simulé ». L'entreprise a mis en place de nouvelles évaluations, surveillance et formations d'alignement, et a invité l'organisme indépendant METR à mener une enquête externe.