ZeruAI'nin "Herhangi bir bot tespit aracı, istediğiniz herhangi bir oranı işaretleyebilir" başlıklı makalesi, çok iyi bir test sunar: Aynı tespit aracının, şüpheli olmayan bir grupta aynı oranı döndürüp döndürmediğini sorgular. Eğer döndürüyorsa, bir sayım değil, bir sıralama okuyorsunuzdur. Bu testi @zerufinance'in kendi verilerine uyguladım: Örnekleri. 1.981 cüzdan grubu, 618 cüzdan (31,2%) sert bot olarak işaretlendi, medyan işlem sayısı 1.886. 5 cüzdan kontrol edildi: 3'ü gerçek otomatik, 2'si insan (bir power kullanıcı, hiçbir ihlal yapmayan bir airdrop kazanıcı). Örneğin sınırları. 5 cüzdanlık örnek, görselleştirme için yeterli ancak yanlış pozitif oranını tahmin etmek için yetersiz. Makale, işaretlenen grubun medyanını veriyor ancak kalan grubun medyanını vermiyor; bu nedenle "en çok işlem yapan" ifadesi karşılaştırma verisi gerektiriyor. Whitepaper'daki kampanya verileri. Sybil için atama %56 azaldı, kaliteli katılım cüzdanları %49 arttı, dağıtım sonrası satış baskısı %50 azaldı. Düşük kaliteli cüzdanlar için atama %21,0'dan %13,5'e düştü, yüksek kaliteli cüzdanlar için atama %41,7'den %54,7'ye yükseldi, ortalama tutma süresi 9,8 günden 12,6 güne çıktı. Testi uygulayın. Açıklamada bu iç analiz olduğu, müşteri adları ve parametrelerin gizlenebileceği ve "karşılaştırılabilir" kampanyalarla karşılaştırıldığı belirtiliyor. "Sybil" ve "düşük kaliteli" etiketleri kim tarafından, hangi yöntemle verildi? Karşılaştırma kampanyası nasıl seçildi? Eğer etiketler doğrudan filtre tarafından verildiyse, iyileşme oranı aynı filtreye göre ölçülmüş olur. Sayılar çok sayıda ölçüt kullanıyor (yüzde değişiklik, ağırlık, gün sayısı), bu nedenle tümü için payda gerekiyor. Artıları. Whitepaper kendi sınırlarını belirtiyor: yeterli veri kapsamı yok, model zamanla kayıyor, rakipler uyarlanıyor, zincir bazlı finansman kümelemesi çok zincirli finansmanla önlenebilir. Ceza düzeyine göre uygulanır; bu nedenle yanlış bir etiketleme sadece bir ödül kaybına neden olur ve karar eşiği oracle değil, dağıtım tarafındadır. Kendi kendini test eden bir puanlama sistemi iyi bir işaret. Kalan kısım ise dışarıdan bu testi tekrarlamak için etiketleri ve karşılaştırma gruplarını açıklamaktır.