Bài “Any bot detector can flag any percentage you like” của ZeruAI đưa ra một phép thử rất hay: hỏi xem cùng một detector có trả về cùng tỷ lệ trên một nhóm không ai nghi ngờ hay không. Nếu có, bạn đang đọc một bảng xếp hạng, không phải một phép đếm. Mình thử áp phép thử đó lên chính số liệu của @zerufinance: Ví dụ của họ. Nhóm 1.981 ví, 618 ví (31,2%) bị gắn cờ bot cứng, trung vị 1.886 giao dịch. Kiểm tay 5 ví: 3 ví tự động thật, 2 ví là người (một power user, một người cày airdrop không vi phạm gì). Giới hạn của ví dụ. Mẫu 5 ví đủ để minh họa, không đủ để ước lượng tỷ lệ dương tính giả. Bài chỉ nêu trung vị của nhóm bị gắn cờ, chưa nêu trung vị nhóm còn lại, nên câu “hoạt động nhiều nhất” cần số đối chiếu. Số liệu campaign trong whitepaper. Giảm 56% phân bổ cho sybil, tăng 49% ví chất lượng tham gia, giảm 50% áp lực bán sau phân phối. Phần phân bổ cho ví chất lượng thấp giảm từ 21,0% xuống 13,5%, ví chất lượng cao tăng từ 41,7% lên 54,7%, thời gian nắm giữ trung bình từ 9,8 lên 12,6 ngày. Áp phép thử. Chú thích ghi đây là phân tích nội bộ, tên khách hàng và tham số có thể bị ẩn, và so sánh với các chiến dịch “tương đương” không dùng biện pháp. Ai gán nhãn “sybil” và “chất lượng thấp”, bằng phương pháp nào, và chiến dịch đối chứng được chọn ra sao? Nếu nhãn do chính bộ lọc gán, mức cải thiện được đo bằng chính bộ lọc đó. Các con số cũng dùng nhiều thước đo (phần trăm thay đổi, tỷ trọng, số ngày), nên cần cả mẫu số. Điểm cộng. Whitepaper tự nêu giới hạn: dữ liệu phủ chưa đủ, mô hình trôi theo thời gian, đối thủ thích nghi, phân cụm theo nguồn tiền một chuỗi có thể bị né bằng nguồn tiền đa chuỗi. Hình phạt theo mức độ nên một lần gắn cờ nhầm chỉ mất một phần thưởng, và ngưỡng quyết định thuộc bên phân bổ, không thuộc oracle. Một hệ chấm điểm tự đưa ra phép thử cho chính mình là dấu hiệu tốt. Phần còn lại là công bố nhãn và nhóm đối chứng để người ngoài chạy lại phép thử đó.