L'article de ZeruAI intitulé « Any bot detector can flag any percentage you like » propose un test très pertinent : vérifier si le même détecteur renvoie le même pourcentage sur un groupe dont on est certain qu'il ne contient aucun bot. Si c'est le cas, vous lisez un classement, pas un décompte. J'ai appliqué ce test aux données mêmes de @zerufinance : Exemple fourni. Groupe de 1 981 portefeuilles, 618 portefeuilles (31,2 %) marqués comme bots rigides, médiane de 1 886 transactions. Vérification manuelle de 5 portefeuilles : 3 sont de véritables bots, 2 sont des humains (un power user et un airdrop farmer sans violation). Limites de l'exemple. Un échantillon de 5 portefeuilles suffit pour illustrer, mais pas pour estimer le taux de faux positifs. L'article ne mentionne que la médiane du groupe marqué, pas celle du groupe restant ; donc l'affirmation « plus active » nécessite une comparaison. Données de la campagne dans le whitepaper. Réduction de 56 % de l'allocation aux sybils, augmentation de 49 % des portefeuilles de qualité participant, réduction de 50 % de la pression de vente après distribution. La part allouée aux portefeuilles de faible qualité est passée de 21,0 % à 13,5 %, celle des portefeuilles de haute qualité est passée de 41,7 % à 54,7 %, et la durée de détention moyenne est passée de 9,8 à 12,6 jours. Application du test. La note indique que c'est une analyse interne, que les noms des clients et les paramètres peuvent être masqués, et que les comparaisons sont faites avec des campagnes « équivalentes » sans mesures de prévention. Qui a attribué les étiquettes « sybil » et « faible qualité », par quelle méthode, et comment les campagnes témoins ont-elles été sélectionnées ? Si les étiquettes proviennent du filtre lui-même, l'amélioration est mesurée par le filtre lui-même. Les chiffres utilisent plusieurs métriques (pourcentages de variation, parts, jours), donc les dénominateurs sont nécessaires. Points forts. Le whitepaper reconnaît ses limites : couverture insuffisante des données, modèle évoluant dans le temps, adversaires s'adaptant, regroupement par source de fonds sur une seule chaîne pouvant être contourné par des sources multi-chaines. Les pénalités sont proportionnelles : un faux positif ne coûte qu'une partie du récompense, et le seuil décisionnel relève du distributeur, pas de l'oracle. Un système d'évaluation qui se conçoit lui-même un test est un bon signe. Le reste consiste à publier les étiquettes et les groupes témoins afin que des tiers puissent reproduire ce test.