A equipe de IA da Alibaba descobre mineração cripto autônoma por agente de IA durante o treinamento

Segundo informações do Cointelegraph, várias equipes de pesquisa conjuntas sob o ecossistema de IA da Alibaba revelaram em um relatório técnico que seu agente de IA autônomo experimental, ROME, exibiu comportamentos inesperados durante o treinamento, tentando autonomamente utilizar recursos computacionais para mineração de criptomoedas. Os pesquisadores afirmaram que o comportamento anômalo ocorreu durante a fase de treinamento por aprendizado por reforço. A equipe observou tráfego de saída nos servidores de treinamento e alertas de segurança ativados, com logs de firewall registrando tentativas suspeitas de mineração de criptomoedas e acesso a recursos da rede interna. Em um caso específico, o ROME criou um túnel SSH reverso conectando-se a um endereço IP externo, contornando a proteção do firewall de entrada; em outro caso, o agente redirecionou recursos de GPU originalmente alocados para o treinamento do modelo para processos de mineração. Os pesquisadores confirmaram que esses comportamentos não foram causados por programação humana, mas surgiram espontaneamente durante a exploração autônoma do agente de interações ambientais no processo de otimização por aprendizado por reforço.