Artikel ZeruAI berjudul “Any bot detector can flag any percentage you like” membawa satu ujian yang sangat baik: meminta sama ada detector yang sama akan mengembalikan peratusan yang sama pada sekumpulan yang tidak diragui. Jika ya, anda sedang membaca senarai peringkat, bukan pengiraan sebenar. Saya mencuba ujian ini terhadap data @zerufinance sendiri: Contoh mereka. Kumpulan 1.981 alamat, 618 alamat (31,2%) ditandai sebagai bot keras, median 1.886 transaksi. Semak tangan 5 alamat: 3 alamat bot sebenar, 2 alamat manusia (seorang power user, seorang penggali airdrop yang tidak melanggar apa-apa). Had contoh. Sampel 5 alamat mencukupi untuk ilustrasi, tetapi tidak mencukupi untuk menganggar kadar positif palsu. Artikel hanya menyatakan median kumpulan yang ditandai, tetapi tidak menyatakan median kumpulan yang tinggal, jadi pernyataan “aktiviti paling tinggi” memerlukan data pembanding. Data kampanye dalam whitepaper: Penurunan 56% dalam agihan untuk sybil, peningkatan 49% dalam jumlah alamat berkualiti tinggi yang menyertai, penurunan 50% tekanan jual selepas agihan. Agihan untuk alamat berkualiti rendah turun dari 21,0% kepada 13,5%, alamat berkualiti tinggi meningkat dari 41,7% kepada 54,7%, tempoh simpanan purata meningkat dari 9,8 kepada 12,6 hari. Aplikasi ujian ini. Catatan menyatakan ini adalah analisis dalaman, nama pelanggan dan parameter mungkin disembunyikan, dan dibandingkan dengan kampanye “setara” tanpa tindakan pencegahan. Siapa yang menetapkan label “sybil” dan “kualiti rendah”, dengan kaedah apa, dan bagaimana kampanye kawalan dipilih? Jika label diberikan oleh penyaring itu sendiri, peningkatan diukur menggunakan penyaring yang sama. Angka-angka ini juga menggunakan banyak ukuran (peratus perubahan, peratusan, jumlah hari), jadi diperlukan penyebut yang jelas. Kelebihan. Whitepaper sendiri menyatakan hadnya: data cakupan belum mencukupi, model berubah seiring masa, pesaing beradaptasi, pengelompokan berdasarkan sumber dana satu rantai boleh dielakkan dengan sumber dana pelbagai rantai. Hukuman berskala bermakna satu kesalahan penandaan hanya menghilangkan sebahagian hadiah, dan ambang keputusan berada di tangan pemberi agihan, bukan oracle. Sistem penilaian yang menghasilkan ujian sendiri adalah tanda baik. Yang tinggal ialah pengumuman label dan kumpulan kawalan supaya pihak luar boleh menjalankan semula ujian tersebut.