Статья ZeruAI «Any bot detector can flag any percentage you like» предлагает отличный тест: спросить, может ли один и тот же детектор выдавать одинаковый процент для группы, в которой никто не подозревается. Если да — вы читаете рейтинг, а не подсчет. Я применил этот тест к собственным данным @zerufinance: Пример из их работы. Группа из 1 981 кошелька, 618 кошельков (31,2%) помечены как боты, медиана — 1 886 сделок. Проверка 5 кошельков: 3 — настоящие автоматические, 2 — люди (один power user, один человек, участвующий в аирдропе без нарушений). Ограничения примера. Выборка из 5 кошельков достаточна для иллюстрации, но недостаточна для оценки доли ложноположительных результатов. В статье приведена только медиана помеченной группы, но не медиана оставшейся группы, поэтому утверждение «самая активная активность» требует контрольных данных. Данные кампании из белой книги: снижение на 56% распределения для sybil, увеличение на 49% количества качественных кошельков, снижение на 50% давления продаж после распределения. Доля низкокачественных кошельков снизилась с 21,0% до 13,5%, высококачественных — выросла с 41,7% до 54,7%, средний срок удержания увеличился с 9,8 до 12,6 дней. Применение теста. В примечании указано, что это внутренний анализ, имена клиентов и параметры могут быть скрыты, а сравнение проводится с «эквивалентными» кампаниями без применения мер. Кто присвоил метки «sybil» и «низкое качество», каким методом и как была выбрана контрольная кампания? Если метки присваиваются самим фильтром, то улучшение измеряется тем же фильтром. Также используются разные метрики (процентные изменения, доли, количество дней), поэтому необходимы и знаменатели. Плюсы. Белая книга сама указывает на ограничения: недостаточное покрытие данных, модель со временем устаревает, конкуренты адаптируются, кластеризация по источнику средств одной цепочки может быть обойдена за счет мультицепочечных источников. Наказание зависит от степени нарушения: одна ошибка в маркировке приводит лишь к потере части вознаграждения, а порог принятия решения находится у распределяющей стороны, а не у оракула. Система оценки, которая сама предлагает тест для себя — это хороший признак. Остальное — публикация меток и контрольных групп, чтобы внешние участники могли повторить этот тест.