Artikel ZeruAI berjudul "Any bot detector can flag any percentage you like" mengajukan uji coba yang sangat menarik: mempertanyakan apakah detector yang sama akan menghasilkan persentase yang sama pada sekelompok akun yang tidak diragukan. Jika ya, maka Anda sedang membaca peringkat, bukan hitungan nyata. Saya mencoba menerapkan uji ini pada data dari @zerufinance: Contoh mereka. Kelompok 1.981 dompet, 618 dompet (31,2%) ditandai sebagai bot keras, median transaksi 1.886. Pemeriksaan manual terhadap 5 dompet: 3 dompet adalah bot asli, 2 dompet adalah manusia (satu power user, satu orang yang menambang airdrop tanpa melanggar aturan). Keterbatasan contoh ini. Sampel 5 dompet cukup untuk ilustrasi, tetapi tidak cukup untuk memperkirakan tingkat false positive. Artikel hanya menyebut median kelompok yang ditandai, tetapi tidak menyebut median kelompok lainnya, sehingga pernyataan "aktivitas paling tinggi" memerlukan data pembanding. Data kampanye dalam whitepaper: penurunan 56% alokasi untuk sybil, peningkatan 49% jumlah dompet berkualitas tinggi yang berpartisipasi, penurunan 50% tekanan jual setelah distribusi. Alokasi untuk dompet berkualitas rendah turun dari 21,0% menjadi 13,5%, dompet berkualitas tinggi naik dari 41,7% menjadi 54,7%, rata-rata masa pegang meningkat dari 9,8 menjadi 12,6 hari. Menerapkan uji ini. Catatan menyatakan ini adalah analisis internal, nama klien dan parameter mungkin disembunyikan, serta dibandingkan dengan kampanye "setara" tanpa tindakan pencegahan. Siapa yang memberi label "sybil" dan "berkualitas rendah", dengan metode apa, dan bagaimana kampanye kontrol dipilih? Jika label diberikan oleh filter itu sendiri, maka peningkatan diukur oleh filter yang sama. Angka-angka ini menggunakan banyak ukuran (persentase perubahan, proporsi, jumlah hari), sehingga memerlukan denominator yang jelas. Kelebihan. Whitepaper secara eksplisit menyebut keterbatasannya: cakupan data belum cukup, model berubah seiring waktu, pesaing beradaptasi, clustering berdasarkan sumber dana satu rantai bisa dihindari dengan sumber dana multi-chain. Hukuman bersifat proporsional, sehingga satu kesalahan penandaan hanya mengakibatkan kehilangan sebagian hadiah, dan ambang keputusan berada di tangan pihak alokasi, bukan oracle. Sistem penilaian yang secara otomatis menguji dirinya sendiri adalah tanda yang baik. Sisanya adalah pengungkapan label dan kelompok kontrol agar pihak luar dapat menjalankan ulang uji tersebut.