Стаття ZeruAI «Будь-який детектор ботів може позначити будь-який відсоток, який ви хочете», пропонує дуже цікавий тест: запитати, чи один і той самий детектор повертає той самий відсоток для групи, в якій немає жодних підозрілих. Якщо так — ви читаєте рейтинг, а не підрахунок. Я спробував застосувати цей тест до власних даних @zerufinance: Приклад з їхніх даних. Група з 1 981 гаманця, 618 гаманців (31,2%) позначені як боти, медіана — 1 886 угод. Перевірено 5 гаманців: 3 — справжні автоматизовані, 2 — люди (один power user, один учасник ейрдропу без порушень). Обмеження прикладу. Вибірка з 5 гаманців достатня для ілюстрації, але недостатня для оцінки частоти хибних позитивів. У статті зазначено лише медіану позначеної групи, але не медіану решти, тому твердження «найбільш активні» потребує порівнянних даних. Дані кампанії з білого паперу. Зменшення на 56% розподілу для sybil, збільшення на 49% кількості якісних гаманців, зменшення на 50% тиску продажу після розподілу. Частка гаманців низької якості знизилася з 21,0% до 13,5%, гаманців високої якості зросла з 41,7% до 54,7%, середній термін утримання збільшився з 9,8 до 12,6 днів. Застосування тесту. У зауваженнях зазначено, що це внутрішній аналіз, імена клієнтів та параметри можуть бути приховані, а порівняння проводиться з «еквівалентними» кампаніями без заходів. Хто призначав мітки «sybil» та «низька якість», яким методом і як вибиралися контрольні кампанії? Якщо мітки присвоювалися самим фільтром, то покращення вимірюється самим цим фільтром. Крім того, числа використовують багато різних показників (відсотки зміни, частки, кількість днів), тому потрібні й знаменники. Плюси. Білий папер сам вказує на обмеження: недостатнє покриття даних, модель змінюється з часом, конкуренти адаптуються, кластеризація за джерелом коштів однієї мережі може бути обхідна за допомогою багатоцепочкових джерел. Штрафи застосовуються пропорційно, тому одна помилкова мітка призводить лише до втрати частини нагороди, а порогове значення визначається розподілювачем, а не оракулом. Система оцінки, яка сама формулює тест для себе — це добрий знак. Решта — це публікація міток та контрольних груп, щоб сторонні могли повторити цей тест.