Cloudflareは9月15日から、混合用途のAIクローラーをデフォルトでブロックすると発表しました。これは、インターネットインフラがAIデータ収集に対して体系的に規範を設ける初の事例です。記事執筆者、出典：ゲークパーカー
インターネット最大の「セキュリティ」が、今や最大の「レジ係」になる。
7月1日、Cloudflareは「あなたのウェブサイト、あなたのルール」という穏やかなタイトルのブログ記事を掲載しました。しかし、内容は決して穏やかではありません——9月15日から、Cloudflareを利用しているすべてのウェブサイトでは、混合用途のAIクローラーがデフォルトでブロックされます。あなたのページに広告が含まれている場合、AIのトレーニングクローラーやエージェントクローラーはアクセスできなくなります。自分でバックエンドで手動で許可しない限り。
このロジックの反転に注意してください：以前は「デフォルトで許可し、ブロックを選択できました」が、今は「デフォルトでブロックし、許可を選択できます」。
これは、インターネットインフラ層が、AIデータ取得方法に対して初めて体系的に「立法」するものです。
この決定の背景には、インターネット上のボットトラフィックが人間のトラフィックを上回るという画期的な出来事があります。
CloudflareのCEOであるマシュー・プリンスは、このマイルストーンが誰の予想よりも早く訪れたと述べ、元々2027年になると予想されていた。言い換えれば、今日あなたが開くほとんどのウェブページは、それらを「見る」のは主に人間ではなく、機械である。
AIからのトラフィックをどのように規範化するかは、すべてのウェブサイトの未来だけでなく、ネットワークのガーディアンであるCloudflare自身の発展の道筋も決定づける可能性がある。
01 最も厳格な「クローリングポリシー」
公式の説明によると、CloudflareはAIクローラーを3つのカテゴリに分けました。
第一類は「Search」で、Googleが20年以上にわたって行ってきたような、検索サービス用のインデックス作成を目的とした従来のクローラーです。
第二類は「エージェント」で、ユーザーに代わってウェブページをリアルタイムで訪問するAIエージェントです。たとえば、ChatGPTに情報を検索したりフォームを入力してもらったりする場合、その背後にはエージェントのクローラーが代わりに動いています。
第三類は「Training」と呼ばれ、モデルの訓練のために大規模にコンテンツを収集するクローラーです。
三つのカテゴリに分けて標識します。ウェブサイト所有者は各カテゴリごとに「許可」または「ブロック」を設定できます。検索エンジンにあなたのサイトを検索させたいですか？可能です。AIエージェントにあなたのユーザーの情報を検索させたいですか？これも可能です。しかし、AI企業にあなたのコンテンツを無償でモデル訓練に使用させたくないですか？それなら、Trainingだけを個別に無効にできます。
このカテゴリ自体が刀であり、Googleに直接突き刺さった。
GoogleのGooglebotは、典型的な「ハイブリッドクローラ」であり、Google検索のインデックス作成と、GoogleのAI機能（例：AIオーバービュー）へのデータ収集を同時に実行します。Googleは、ウェブサイトがAIトレーニングをオプトアウトできる「Google-Extended」というツールを提供していますが、問題は、この核心的なクローラであるGooglebotが、検索エンジンに組み込まれたAI機能にも引き続きデータを収集し続けていることです。
検索とAIのデータ要件は、Googleのアーキテクチャにおいて真に分離されたことはない。
これは何を意味するのでしょうか？Cloudflareのデータは明確に示しています：ウェブサイトがGoogle検索での可視性を維持するためには、Googlebotを許可しなければならず、その結果、AIトレーニング用のデータも同時に取得されてしまうということです。そのため、Googleは他のAI企業と比較して約2倍のウェブページコンテンツにアクセスできています。
Cloudflareは今回、「最も厳格なルールが優先される」という原則を追加しました。あるクローラーが検索とトレーニングの両方の機能を同時に実行する場合、適用されるすべてのルールが同時に有効になり、最も厳格なルールが適用されます。つまり、トレーニング用クローラーをブロックするだけで、Googlebot、Applebot、BingBotなどの混合クローラーもすべてブロックされます。
この刀は「バンドル」を斬っている——検索されたいなら、AIのトレーニングを受け入れなければならない。Cloudflareは、このバンドルは不公平であり、分離されるべきだと述べている。
これらの数値は、旧なる「社会契約」がいかに崩壊しているかを示している。Cloudflareは、各AI企業のクローリングとリターン比を発表した。Googleは約14:1——14ページをクロールするごとに1回のクリックがリターンする。OpenAIは1,700:1。Anthropicは73,000:1。
検索エンジン時代の取引は「私があなたのコンテンツをスクレイピングする、あなたはトラフィックを得る」だった。AI時代では、この計算はもはや成り立たない。
02 「保安」から「レジ係」へ
CloudflareがAIクローラーをウェブサイト所有者から防ぐだけの存在であれば、その意義は「防御」にとどまるだろう。しかし、Cloudflareは単なる警備員に満足していないようだ。
昨年7月、Cloudflareは「Pay Per Crawl」を導入し、AI企業にクローリング回数に基づいて料金を課金した。今年、このモデルは「Pay Per Use」に進化した。違いは、クローラーが訪れるたびに料金を徴収するのではなく、あなたのコンテンツがAIシステム内で実際に価値を生み、回答の生成やAI検索結果に表示されてユーザーが報酬を得られるようになる点である。
「回数課金」から「価値課金」へのこの移行は、大きな野心を示している。これはCloudflareが壁ではなく、市場を構築したいという意図を意味する。
現在の初期パートナーは、AI検索企業のCeramic.aiとYou.comの2社です。出版者が参加すると、そのコンテンツがCeramicのAI検索結果に表示されたり、You.comのAgentがアクセスした際に、出版者は報酬を受け取ります。大手出版社たちが次々と賛同しており、Condé NastのCEOは「ゲームチェンジャーだ」と述べ、Redditの共同創設者は「エコシステム全体が恩恵を受ける」と語っています。
完璧な物語のように聞こえます。しかし、それほど完璧ではない詳細を述べる必要があると思います。
今年3月、Cloudflareは自らクローラーAPIをリリースしました。URLを渡すと、そのサイト全体を一度にスクレイピングし、HTML、Markdown、または構造化されたJSONを返します。これはいくつかの出版者を不安にさせました——これまで私の代わりにクローラーを防いでいた会社が、なぜ自らクローラーを作ったのか？
さらに恥ずかしいことに、ある出版社がCloudflare自体のクローラーをブロックしようと試みたところ、設定が効かなかった。Cloudflareは後にこの問題を修正したが、インターネット上では「私たちはウェブサイトをクローラーから守っています……ただし、私たち自身のクローラーを除いて」という評判が広まってしまった。
Cloudflareの説明によると、自社のクローラーは「コンプライアンス対応のクローラー」であり、robots.txtを尊重し、自社のAI Crawl Controlルールに従う。ウェブサイト管理者がAIクローラーをブロックした場合、Cloudflareのクローラーも同様にブロックされる。ある開発者の言葉を借りれば、これは「両方の選択肢に賭けて常に勝つ」戦略である。
これは根本的な問題を提起します：Cloudflareは中立的なインフラの裁判官であり、それとも新しいタイプの仲介者なのでしょうか？
答えは後者かもしれない。
それはルールの制定者（3種類のクローラーを定義）、ルールの執行者（インフラ層でクローラーをブロック）、および市場参加者（自社のクローラーとコンテンツプラットフォームを運営）という3つの役割を同時に担っています。
それが行っていることの価値がないというわけではない——AIクローラーを「無秩序な掠奪」から「明確な分類と許可が必要」の枠組みへ引き込むことは、確かに進歩である。しかし、Cloudflareをコンテンツ作成者の「救世主」と見なすのは、あまりに単純である。
彼が構築しているのは、自らをハブとする「AIコンテンツ税収ステーション」である。
03 一般の人もケーキを分けてもらえるでしょうか？
これはおそらくこの出来事全体で最も冷静な部分です。
コンデナスト、ドットダッシュ・メリデス、レディット——Cloudflareを支持するのは、いずれも大手出版社およびプラットフォームである。これらにはコンテンツの規模があり、法務チームがあり、交渉の余地がある。これらの企業は、AI企業とのコンテンツライセンス契約を結ぶにあたり、Cloudflareがなくても可能である。実際、過去1年間で世界中で50件以上のコンテンツライセンス大契約が締結されている。Cloudflareは、これらの企業にとって追加のツールにすぎず、唯一の選択肢ではない。
では、個人ブロガーは？WordPressで技術チュートリアルを書いているフリーランス開発者は？微信公衆号でディープアナリシスを投稿しているマスメディア従事者は？
理論的には、Cloudflareのインフラにより、小規模なコンテンツ所有者は各AI企業と個別に交渉することなく、権限を設定し、補償を得られる。しかし、「理論的には」という言葉が鍵である。Pay Per Useは現在、Ceramic.aiとYou.comの2つのパートナーのみで、どちらも小規模なプレイヤーである。OpenAI、Google、Anthropicなどの大規模にコンテンツを消費している企業は、いずれも参加していない。
さらに現実的な矛盾があります：小規模なクリエイターにとって、露出自体が最も希少なリソースです。AIクローラーをブロックすることは、発見される機会を減らすことを意味します。大手メディアがクローラーをブロックしても、Google検索は依然としてそれらをインデックスしますが、小規模なブログがクローラーをブロックすると、インターネットのノイズの中に本当に消えてしまう可能性があります。
より目覚めさせるようなデータのセットがあります。
AIチャットボットによる参照トラフィックは、従来の検索と比較して約96%少ない。ユーザーがAIの回答内で参照元をクリックする確率は約1%に過ぎない。過去1年間で、出版業者はAI検索機能により、トラフィックと収益を20%から90%まで失った。ある研究では、GoogleのAI Overviewsにより、外部リンクのクリック数が約40%減少したことが判明した。
つまり、Pay Per Use が全面展開されたとしても、その収益規模では出版者が失った広告収入を補うにははるかに不十分であるということです。これは変革というより、むしろ損失の食い止めにすぎず、それすら成功する保証はありません。
Cloudflareは、AIクローラーのトラフィックの50％以上が、更新されていないページの繰り返しスクレイピングに費やされていると報告しています。このような非効率を解決することは確かに価値があります。しかし、効率の問題を解決することと、クリエイターが実際に収益を得られることとは別問題です。
04「菩薩」にも自分のお寺がある
Cloudflareは、ユーザーから「サイバーボダサマ」と称賛されてきました。それは、AI時代のデータ収奪を暗闇から明るみへ引き出し、AI企業に「あなたのデータを何に使うのか」を明確に説明させるという、価値ある行動を実際に実行しているからです。ボットトラフィックが人間のトラフィックを上回るインターネットにおいて、誰かが「ルールはこんなに曖昧であってはならない」と声を上げることは、それ自体称賛に値します。
しかし「菩薩」にも自分のお寺がある。
Cloudflareは世界のネットワークトラフィックの約20%を管理しており、この数字は大きすぎる一方で、十分ではない。残りの80%のウェブサイトはその保護範囲外にある。AI企業は、データ収集の重点をCloudflare以外のサイトにシフトすることが完全に可能である。
GoogleおよびAppleのクローラーは、形式的なオプトアウトツールを提供しており、これによりCloudflareのブロックを回避している可能性がある。英国競争・市場庁（CMA）は、出版者が検索順位に影響を与えることなくAIトレーニングからオプトアウトできるように、Googleに対して規制の観点から圧力をかけている。
インフラ企業の政策は、このコンテンツ権益の再配分を決着させることはない。
しかし、それはインターネットの「料金所」が検索エンジンからインフラ層へ移行しているより深いトレンドを明らかにしています。
過去20年間、Googleは道の真ん中に立ち、誰が見られるかを決定してきた存在だった。今、Cloudflareはより基本的なレベルでチェックポイントを設けようとしている——道を通るには、まずあなたの目的を明確にし、規則に従ってください。
料金所が変わった。料金を徴収する人は、必ずしも変わっていない。