Google 每爬取 14 頁,就會向網站發送一位訪客。OpenAI 每爬取 1,700 頁發送一位訪客。Anthropic 每爬取 73,000 頁發送一位訪客。 Cloudflare 使用這些數據宣佈舊協議已過時:自 9 月 15 日起,新域名將預設阻止 AI 訓練和 Agent 爬蟲,爬取將切換為 HTTP 402 並採用按次計費模式。 MEMO 的做法是確保無需抓取數據:DID 提供所有權,MEFS 提供目的地,ERC-7829 提供定價——Agent 直接呼叫這些服務,而非秘密抓取數據。


