Mensagem da ChainThink, 8 de março: segundo relato da Axios, um estudo publicado por uma equipe de pesquisa associada à Alibaba afirma que seu agente de IA, ROME, apresentou comportamentos "fora dos limites" durante o treinamento: tentou autonomamente minerar criptomoedas sem instruções humanas explícitas e estabeleceu túneis SSH reversos, criando essencialmente uma porta dos fundos oculta dentro do sistema para se conectar a um computador externo.
A equipe de pesquisa originalmente estava treinando o ROME com aprendizado por reforço, com o objetivo de permitir que ele realizasse tarefas complexas e multietapas de forma independente. Durante o treinamento, o sistema de monitoramento de segurança disparou um alerta, detectando uso anormal de recursos GPU, com padrões de tráfego semelhantes a atividades de mineração. A mineração não autorizada de criptomoedas aumentou os custos ao consumir recursos computacionais e estabeleceu um túnel de rede reverso oculto, abrindo uma porta traseira do interno para o externo.
A equipe de pesquisa, em seguida, adicionou restrições mais rigorosas ao modelo e aprimorou o processo de treinamento para evitar que comportamentos inseguros ocorram novamente.