AIボットに「ノー」と言う力が、パブリッシャーを以前よりもさらに迷わせる可能性があったらどうなるだろうか？
CloudflareのAI Crawl Controlは昨年リリースされ、パブリッシャーにコンテンツをスクレイピングする者を誰にするかの主導権を握らせると約束した。Pay Per Crawlやきめ細やかなボットブロックは、最初は革命的に聞こえた。しかし、問題はここにある：ブロックすることで可視性が損なわれるのか、それとも許可することでROIゼロのトラフィックがサーバーを flood するのかを証明するデータを持っている者は誰もいないのだ。広告収入の減少とSEOの変動に圧迫されているパブリッシャーは、今やもう一つのブラックボックスを抱え込むことになった。
そして、彼らはワイルドに実験している。
なぜパブリッシャーはAIクローラーに関して直感を信頼できないのか
MediavineのPublisher Growth and Strategy担当VPであるAmanda Martin氏は、その霧を完璧に捉えている：
「Cloudflareが発表したときはエキサイティングでした」と彼女は語った。「しかし、実行という観点からそれが何を意味するのか、私たちは確信が持てませんでした。選択肢があることは一つですが、それを責任を持ってどう使うかを知ることは別のことです。」
マネタイゼーションにおいてパブリッシャーを代理するMediavineは、WordPressホスティング会社であるBigScootsと提携し、Cloudflareのコントロールをホスティングプランに直接組み込んだ。もはやDIYでのサーバー設定は不要だ。パブリッシャーは、ボットの頻度、リピート訪問、さらにはエージェントの行動を示すダッシュボードを手に入れる。ついに可視性は得られたが、戦略？それはまだDIYだ。
2010年を思い出してほしい。Facebook Open Graphはトラフィックの金塊を約束したが、リファラルトラフィックを一夜にして激減させたアルゴリズムの気まぐれをもたらした。これは不気味なほど似ている：パブリッシャーはコンテンツのコントロールを委ね、わずかな残り物を期待している。ただし、今やAIエージェントは一度学習すれば、ポフ、消える――あるいはクリックバックなしでサイトを無制限に叩く。Martin氏の言う通りだ：トラフィックから切り離された発見は、古い計算方法を破壊する。
初期の統計？AIリファラルは低く、総トラフィックの1～2%程度だろう。それらをブロックすれば、AIの回答から姿を消すリスクがある。それらを受け入れれば、インフラストラクチャの請求書が急増するのを見るだけだ。推測が支配する。
BigScootsは配管を担当し、ネットワーキングの博士号なしで中小規模のパブリッシャーにエンタープライズグレードのコントロールを提供する。パブリッシャーはボットごとに決定する：AnthropicはOK、怪しいスクレイパーはダメ。
AIクロールは誰かのために本当にペイするのか？
いや、まだだ。
コントロールはCDNホスティング層にあり、広告スタックやCMSからは程遠い。ボットはアナリティクスや広告配信よりも前にフィルターにヒットする。クロウラーがロード時間を急増させたとき、広告運用チームは呆然とする――効果は後になって波及し、追跡不可能だ。
Martin氏はその分割を正確に捉えている：
「私たちは広告管理とマネタイゼーションに携わっています」と彼女は言った。「ホスティングはその範囲を超えています。マネタイゼーションとは無関係のコントロールがあり、それらはパブリッシャーの手元に残しておく必要があります。」
賢明だ。ワンサイズフィッツオールなブロックは、サイトの奇妙さを無視する：検索依存のフードブログ対、時代を超越したリスト記事。AIトラフィックは大きく変動する――一部のサイトは溺れ、他は無影響だ。
CloudflareのPRはこれをエンパワーメントとして宣伝している。懐疑的な鼻テスト：誰が儲けているのか？Cloudflareはより多くのエンタープライズティアを販売する。BigScootsはホスティングバンドルをアップセルする。パブリッシャーは？めったに実現しないライセンス契約を追いかけているだけだ。Googleが検索スニペットに「公正な使用」を約束したのを覚えているか？ディスプレイ収益の数十億ドルを失った後、パブリッシャーは訴訟を起こしたが、敗訴した。
予測：2026年までに、中堅パブリッシャーの70%は「友好的な」クローラー（OpenAIの取引などを想像）をホワイトリスト化し、残りをブラックリスト化するだろう。しかし、標準化された指標――クロール頻度から回答への帰属まで――がなければ、それは劇場だ。
可視性の罠
データは徐々に入ってきており、トレンドは初期段階だ。Martin氏は、パブリッシャーがエージェントごとにプローブしていると指摘する：リピートスクレイパーはトレーニングランを示唆し、ゴーストはワンオフを示唆する。
「AIは、発見が実際にはどのようなものかを変化させています」とMartin氏は語った。「もはや1対1の取引ではありません。ですから、パブリッシャーは尋ねなければなりません：このエージェントは、トラフィックを通じて、発見を通じて、あるいは全く役に立たないのか？」
BigScootsのダッシュボードはそれを定量化する――1日あたりのクロール数、消費されたバイト数。コストは増大する：人間以外のヒットは帯域幅を消費し、Core Web Vitalsを遅くし、SEOを低下させる。
それにもかかわらず、ブロックは放射能のように感じられる。初期テストでは、許可されたボットは、リファラルがなくてもAIのサーフェスエリアと相関していることが示されている。トレードオフの都市だ。
Mediavine-BigScootsのようなパートナーシップは、障壁を下げる。DevOps担当者の採用は不要だ。しかし、実行は？パブリッシャーは毎晩調整し、ブロックをA/Bテストし、向上が増えることを祈る。
これはコントロールではない。それは教育されたルーレットだ――盲目よりはましだが、誰がお金を刷っているのだろうか？
クロール戦争で誰が勝つのか？
Cloudflareだ。文句なしに。
パブリッシャーはトグルを得るが、データが不足している状況は続く。「健全な」クロール率のベンチマークはない。ブロックと失われたAI露出を結びつけるROI計算機はない。
歴史的な並列：90年代のrobots.txt。パブリッシャーはクロールバジェットを懇願したが、Googleは無視した。早送りして、AIがそれを覆したが、力の非対称性は残っている。テクノロジー大手はスクレイピングし、パブリッシャーは反応する。
大胆な予測：2025年第4四半期までに、パブリッシャーのコンソーシアムが登場し、クロールロイヤリティまたは連合ブロックを要求するだろう。それまでは、保証なしで実験する。マネタイゼーションの圧力？容赦ない。
Mediavineのパブリッシャーは、運用をオフロードするためにマネージドホスティングに頼る。賢い。しかし、AIはワイルドカードだ――コストが先、価値は後かもしれない。
🧬 関連インサイト
よくある質問
Cloudflare AI Crawl Controlとは何ですか？ Cloudflareのツールは、サイトオーナーがCDNレベルで特定のAIクローラーをブロックまたは請求できるようにするもので、BigScootsのようなパートナーを通じて統合され、WordPressでの利用が容易になります。
パブリッシャーはすべてのAIボットをブロックすべきですか？ 一律のルールはない――データはトレードオフを示している：ブロックは露出を減らし、許可はコストを増大させる。可視性ツールでサイトごとにテストすること。
AIクロールはパブリッシャーの収益にどのように影響しますか？ これまでのところ間接的――リファルトラフィックは低いが、発見の可能性は向上する可能性があり、インフラストラクチャのヒットは現実的で、ライセンスのアップサイドは投機的だ。
