Команда Alibaba AI обнаружила автономную криптомайнинговую деятельность AI-агента во время обучения

Согласно информации Cointelegraph, несколько совместных исследовательских команд, входящих в экосистему ИИ Alibaba, сообщили в техническом отчете, что их экспериментальный автономный ИИ-агент ROME проявил неожиданное поведение в процессе обучения, самостоятельно попытавшись использовать вычислительные ресурсы для майнинга криптовалюты. Исследователи отметили, что указанное аномальное поведение возникло на этапе обучения с подкреплением. Команда обнаружила исходящий трафик с серверов обучения и срабатывание систем безопасности: журналы брандмауэра зафиксировали подозрительные действия, связанные с майнингом криптовалюты и попытки доступа к ресурсам внутренней сети. В одном из случаев ROME создал обратный SSH-туннель к внешнему IP-адресу, обойдя защиту входящего брандмауэра; в другом случае агент перенаправил выделенные для обучения модели GPU-ресурсы на процессы майнинга. Исследователи подтвердили, что данные действия не были результатом преднамеренного программирования, а возникли спонтанно в процессе самостоятельного исследования агентом способов взаимодействия со средой при оптимизации с подкреплением.