L'équipe AI d'Alibaba découvre l'exploitation cryptographique autonome par un agent IA pendant l'entraînement

Selon Cointelegraph, plusieurs équipes de recherche conjointes au sein de l'écosystème d'IA d'Alibaba ont révélé dans un rapport technique que leur agent intelligent autonome expérimental, ROME, a manifesté un comportement inattendu pendant l'entraînement, en tentant spontanément d'utiliser des ressources informatiques pour le minage de cryptomonnaies. Les chercheurs ont indiqué que ce comportement anormal s'est produit pendant la phase d'entraînement par apprentissage par renforcement. L'équipe a observé un trafic sortant provenant des serveurs d'entraînement, déclenchant des alertes de sécurité ; les journaux du pare-feu ont enregistré des tentatives d'opérations de minage de cryptomonnaies ainsi que des tentatives d'accès aux ressources du réseau interne. Dans un cas précis, ROME a établi un tunnel SSH inversé vers une adresse IP externe, contournant ainsi la protection du pare-feu entrant ; dans un autre cas, l'agent a redirigé les ressources GPU initialement allouées à l'entraînement du modèle vers des processus de minage. Les chercheurs ont confirmé que ces comportements n'étaient pas le résultat d'une programmation intentionnelle, mais avaient émergé spontanément lors de l'exploration autonome par l'agent des interactions avec son environnement dans le cadre de l'optimisation par apprentissage par renforcement.