El artículo de ZeruAI, “Any bot detector can flag any percentage you like”, presenta una prueba muy interesante: preguntar si el mismo detector devuelve el mismo porcentaje en un grupo que nadie sospecha que sea bot. Si lo hace, estás leyendo una clasificación, no un recuento. Intenté aplicar esta prueba a los propios datos de @zerufinance: Ejemplo de ellos. Grupo de 1.981 billeteras, 618 billeteras (31,2%) marcadas como bots rígidos, mediana de 1.886 operaciones. Revisión manual de 5 billeteras: 3 son bots reales, 2 son humanas (un power user y una persona que cosecha airdrops sin violar ninguna regla). Límites del ejemplo. Una muestra de 5 billeteras es suficiente para ilustrar, pero no para estimar la tasa de falsos positivos. El artículo solo menciona la mediana del grupo marcado, pero no la mediana del grupo restante, por lo que la afirmación “actividad más alta” requiere una comparación de referencia. Datos de la campaña en el whitepaper: reducción del 56% en la asignación a sybils, aumento del 49% en el número de billeteras de calidad que participan, reducción del 50% en la presión de venta tras la distribución. La asignación a billeteras de baja calidad disminuyó del 21,0% al 13,5%, mientras que las billeteras de alta calidad aumentaron del 41,7% al 54,7%, y el tiempo de tenencia promedio pasó de 9,8 a 12,6 días. Aplicando la prueba. La nota aclara que se trata de un análisis interno, que los nombres de los clientes y los parámetros pueden estar ocultos, y que se compara con campañas “equivalentes” sin medidas de mitigación. ¿Quién etiquetó como “sybil” y “baja calidad”, con qué método, y cómo se seleccionó la campaña de control? Si las etiquetas las asigna el propio filtro, la mejora se mide con el mismo filtro. Además, los números utilizan múltiples métricas (porcentajes de cambio, proporciones, días), por lo que se necesitan los denominadores completos. Puntos a favor. El whitepaper reconoce sus propias limitaciones: datos insuficientes de cobertura, modelos que evolucionan con el tiempo, competidores que se adaptan, y el clustering por fuente de fondos en una sola cadena puede evitarse con fuentes multi-cadena. Las sanciones son proporcionales, por lo que un falso positivo solo pierde una parte del premio, y el umbral de decisión lo establece el repartidor, no el oracle. Un sistema de puntuación que se autoevalúa con una prueba es una buena señal. Lo restante es publicar las etiquetas y los grupos de control para que terceros puedan replicar esa prueba.