O artigo “Any bot detector can flag any percentage you like” da ZeruAI apresenta um teste muito interessante: perguntar se o mesmo detector retorna a mesma porcentagem em um grupo em que ninguém é suspeito. Se sim, você está lendo uma classificação, não uma contagem. Tentei aplicar esse teste aos próprios dados de @zerufinance: Exemplo deles. Grupo de 1.981 carteiras, 618 carteiras (31,2%) marcadas como bots rígidos, mediana de 1.886 transações. Verificação manual de 5 carteiras: 3 carteiras são bots reais, 2 são humanas (um power user e um airdrop farmer sem violações). Limitações do exemplo. Uma amostra de 5 carteiras é suficiente para ilustrar, mas não para estimar a taxa de falsos positivos. O artigo apenas menciona a mediana do grupo marcado, mas não a mediana do grupo restante, portanto, a afirmação “mais ativo” precisa de um ponto de comparação. Dados da campanha no whitepaper. Redução de 56% na alocação para sybil, aumento de 49% nas carteiras de qualidade participantes, redução de 50% na pressão de venda após a distribuição. A alocação para carteiras de baixa qualidade caiu de 21,0% para 13,5%, enquanto as de alta qualidade aumentaram de 41,7% para 54,7%, e o prazo médio de detenção subiu de 9,8 para 12,6 dias. Aplicando o teste. A nota menciona que esta é uma análise interna, com nomes de clientes e parâmetros possivelmente ocultos, e compara-se com campanhas “equivalentes” sem medidas corretivas. Quem rotulou “sybil” e “baixa qualidade”, por qual método, e como foram escolhidas as campanhas de controle? Se os rótulos foram atribuídos pelo próprio filtro, a melhoria foi medida pelo mesmo filtro. Os números também usam várias métricas (porcentagens de mudança, proporções, número de dias), portanto, é necessário o denominador completo. Pontos positivos. O whitepaper reconhece explicitamente limitações: cobertura de dados insuficiente, modelos que se desgastam com o tempo, adversários que se adaptam, e agrupamento por origem de fundos em uma única cadeia que pode ser contornado com fontes multi-cadeia. A punição é proporcional, então um falso positivo apenas resulta na perda de uma parte do prêmio, e o limiar de decisão pertence à entidade que aloca, não ao oracle. Um sistema de pontuação que auto-gera seu próprio teste é um bom sinal. O restante é divulgar os rótulos e os grupos de controle para que terceiros possam repetir esse teste.