Ang artikulo ni ZeruAI na “Any bot detector can flag any percentage you like” ay naglalayong magbigay ng isang mahusay na pagsubok: tanungin kung ang isang parehong detector ay magbabalik ng parehong porsyento sa isang grupo na walang aksiyentong bot. Kung oo, ikaw ay bumabasa ng isang ranking, hindi isang pagbilang. Sinubukan kong gamitin ang pagsubok na ito sa sariling datos ni @zerufinance: Halimbawa nila. Grupo ng 1,981 wallets, 618 wallets (31.2%) ay markahan bilang bot, median na 1,886 na transaksyon. Sinuri ang 5 wallets: 3 ay totoong automated, 2 ay tao (isang power user, isang airdrop farmer na walang paglabag). Mga limitasyon ng halimbawa. Ang sample na 5 wallets ay sapat para sa pagpapakita, hindi sapat para sa pagtataya ng false positive rate. Ang artikulo ay naglalabas lamang ng median ng grupo na markahan, hindi ng natitirang grupo, kaya ang pahayag na “pinakamaraming aktibidad” ay nangangailangan ng komparatibong numero. Mga datos ng campaign sa whitepaper. Bawasan ang 56% ng allocation para sa sybil, tumaas ang 49% ng quality wallets na sumali, bawasan ang 50% ng selling pressure pagkatapos ng distribution. Bawasan ang allocation para sa mababang kalidad na wallets mula sa 21.0% patungo sa 13.5%, tumaas ang mataas na kalidad na wallets mula sa 41.7% patungo sa 54.7%, at tumataas ang average hold time mula sa 9.8 hanggang 12.6 araw. Gumamit ng pagsubok. Ang footnote ay nagpapahiwatig na ito ay isang internal analysis, at ang mga customer name at parameter ay maaaring nakatago, at ihahambing sa mga “katumbas” na campaign na walang mga pagsasagawa. Sino ang naglalagay ng label na “sybil” at “mababang kalidad”, paano ito ginawa, at paano napili ang control campaign? Kung ang label ay galing sa sariling filter, ang pagpapabuti ay sinusukat gamit ang parehong filter. Ang mga numero ay gumagamit ng maraming sukat (porsyento ng pagbabago, proporsyon, bilang ng araw), kaya kailangan din ng denominator. Mga puntos para sa pagpapala. Ang whitepaper mismo ay nagpapahiwatig ng mga limitasyon: hindi sapat ang coverage ng data, ang model ay lumilipas sa oras, ang mga kalaban ay nag-aadapt, at ang clustering batay sa pinagmulan ng pondo sa isang chain ay maaaring iwasan gamit ang multi-chain funding. Ang parusa ay batay sa antas, kaya isang maling pagmarka ay nagtatapon lamang ng bahagi ng reward, at ang threshold ay nasa kaharian ng distributor, hindi ng oracle. Ang isang sistema na nagbibigay ng sariling pagsubok para sa sarili nito ay isang mabuting tanda. Ang natitira ay ang pagpapahayag ng mga label at control group upang makapag-run muli ng pagsubok na ito ng mga dayuhan.