ZeruAIの記事「Any bot detector can flag any percentage you like」は、非常に優れたテストを提示しています：同じ検出器が、疑いのないグループに対しても同じ割合を返すかどうかを問うことです。もし同じ割合が返るなら、あなたが見ているのはカウントではなく、ランキングです。私はこのテストを@zerufinanceのデータに適用してみました： 彼らの例：1,981ウォレットのグループで、618ウォレット（31.2％）がボットと明確にフラグされ、中央値は1,886取引です。5ウォレットを手動で確認したところ、3つは実際の自動取引、2つは人間（1つはパワーユーザー、1つは何の違反もないエアドロップ採掘者）でした。 例の制限：5ウォレットのサンプルは説明には十分ですが、偽陽性率を推定するには不十分です。記事はフラグされたグループの中央値のみを示し、残りのグループの中央値には触れていません。したがって、「最も活発な活動」という表現には対照データが必要です。 ホワイトペーパー内のキャンペーンデータ：シビルへの配分を56％削減し、高品質ウォレットの参加を49％増加させ、分配後の販売圧力を50％軽減しました。低品質ウォレットの配分割合は21.0％から13.5％へ低下し、高品質ウォレットは41.7％から54.7％へ上昇し、平均保有期間は9.8日から12.6日へ延長されました。 テストの適用：注釈には「これは内部分析であり、顧客名やパラメータは隠蔽されている可能性がある」とあり、「同等の」対照キャンペーンと比較されています。誰が「シビル」および「低品質」とラベル付けしたのか？その方法は？対照キャンペーンはどのように選ばれたのか？もしラベルが自社フィルターによって付与された場合、改善度はそのフィルター自身で測定されています。また、数値は複数の指標（変化率、割合、日数）を使用しており、分母も必要です。 良い点：ホワイトペーパーは自ら制限を明記しています：データカバレッジが不十分、モデルは時間とともに変化し、競合は適応する可能性があり、単一チェーンの資金源によるクラスタリングはマルチチェーン資金源で回避できる可能性がある。ペナルティは度合いに応じて設定されており、誤ってフラグされた場合でも報酬の一部しか失われず、決定閾値はオラクルではなく配分側にあります。 自らのテストを定義するスコアリングシステムは良い兆候です。残りは、ラベルと対照グループを公開し、外部者が同じテストを再実行できるようにすることです。