Что, если возможность сказать «нет» AI-ботам оставит издателей более потерянными, чем раньше?
Cloudflare AI Crawl Control был запущен в прошлом году, обещая издателям полный контроль над тем, кто парсит их контент. «Плата за обход» (Pay Per Crawl) и гранулированная блокировка ботов на первый взгляд звучали революционно. Но вот в чем загвоздка: ни у кого нет данных, чтобы доказать, вредит ли блокировка видимости, или же разрешение массированного трафика приводит к нулевой отдаче (ROI). Издатели, зажатые падением рекламных доходов и SEO-флуктуациями, теперь жонглируют еще одним «черным ящиком».
И они дико экспериментируют.
Почему издатели не могут полагаться на интуицию в отношении AI-краулеров
Аманда Мартин, вице-президент по росту и стратегии издательского бизнеса в Mediavine, отлично описывает эту неопределенность:
«Это было захватывающе, когда Cloudflare сделала анонс, — сказала она. — Но мы не были уверены, что это значит с точки зрения реализации. Наличие опциональности — это одно. Знать, как ее использовать ответственно — совсем другое».
Mediavine, представляющая издателей в сфере монетизации, объединилась с BigScoots — компанией, специализирующейся на хостинге WordPress — чтобы встроить элементы управления Cloudflare прямо в тарифные планы хостинга. Больше никакой самостоятельной настройки серверов. Издатели получают дашборды, показывающие частоту запросов ботов, повторные визиты, даже поведение агентов. Наконец-то появилась наглядность, но стратегия? Все еще DIY.
Вспомните 2010 год, когда Facebook Open Graph обещал золотой трафик, но принес капризы алгоритма, которые одномоментно обрушили реферальные доли. Это пугающе похоже: издатели передают контроль над контентом в надежде на крохи. Только теперь AI-агенты обучаются один раз — и исчезают, или бесконечно бомбардируют сайты без обратного клика. Мартин права: обнаружение, отделенное от трафика, убивает старую математику.
Ранняя статистика? Рефералы от AI составляют скромные 1-2% от общего трафика. Блокируешь их — рискуешь исчезнуть из ответов AI. Пускаешь их — наблюдаешь рост счетов за инфраструктуру. Правят догадки.
BigScoots занимается технической стороной, предоставляя решения корпоративного уровня для небольших издателей без необходимости иметь степень PhD по сетям. Издатели решают для каждого бота: Anthropic — хорошо, подозрительный скрейпер — плохо.
Действительно ли AI-краулинг приносит кому-то выгоду?
Нет. Пока нет.
Элементы управления находятся на уровне CDN-хостинга, далеко от рекламных стеков или CMS. Боты попадают в фильтры до аналитики, до показа рекламы. Рекламные отделы смотрят в пустоту, когда краулеры увеличивают время загрузки — эффекты проявляются позже, неуследимо.
Мартин точно описывает разделение:
«Мы занимаемся управлением рекламой и монетизацией, — сказала она. — Хостинг выходит за рамки этого. Есть элементы управления, которые не имеют отношения к монетизации, и они должны оставаться в руках издателя».
Умно. Универсальные блокировки игнорируют специфику сайта: пищевые блоги, зависящие от поиска, против вечнозеленых списков. AI-трафик сильно варьируется — одни сайты тонут, другие остаются нетронутыми.
PR Cloudflare преподносит это как расширение прав и возможностей. Скептический тест: кто же набивает карманы? Cloudflare продает больше корпоративных тарифов. BigScoots увеличивает продажи пакетов хостинга. Издатели? Все еще гоняются за лицензионными соглашениями, которые редко материализуются. Помните, когда Google обещал «добросовестное использование» для поисковых сниппетов? Миллиарды потерянных доходов от дисплейной рекламы спустя, издатели подали в суд — и проиграли.
Прогноз: к 2026 году 70% издателей среднего звена добавят в белый список «дружественных» краулеров (например, OpenAI), остальных заблокируют. Но без стандартизированных метрик — от частоты обхода до атрибуции ответов — это все театр.
Ловушка видимости
Данные поступают по каплям, тенденции зарождаются. Мартин отмечает, что издатели исследуют агентов по отдельности: повторяющиеся скрейперы сигнализируют о циклах обучения, призраки — о разовых визитах.
«AI меняет то, как выглядит обнаружение контента, — сказала Мартин. — Это уже не транзакция один к одному. Поэтому издателям приходится спрашивать: приносит ли этот агент мне пользу через трафик, через обнаружение, или вообще никак?»
Дашборды BigScoots количественно показывают это — обходы в день, поглощенные байты. Расходы растут независимо: нечеловеческие запросы съедают пропускную способность, замедляют Core Web Vitals, ухудшают SEO.
При этом блокировка ощущается как радиоактивность. Ранние тесты показывают, что разрешенные боты коррелируют с площадью поверхности AI, даже без рефералов. Город компромиссов.
Партнерства, подобные Mediavine-BigScoots, снижают барьеры. Нет необходимости нанимать DevOps-специалиста. Но реализация? Издатели настраивают параметры каждую ночь, проводят A/B-тесты блокировок, молятся об улучшении.
Это не контроль. Это образованная рулетка — лучше, чем вслепую, но кто печатает деньги?
Кто побеждает в войнах за краулинг?
Cloudflare. Бесспорно.
Издатели получают переключатели, но информационные пробелы сохраняются. Нет бенчмарков для «здоровой» частоты обхода. Нет калькуляторов ROI, связывающих блокировки с потерянной экспозицией в AI.
Историческая параллель: robots.txt в 90-х. Издатели умоляли об увеличении квот на обход; Google игнорировал. Быстрое движение вперед, AI переворачивает ситуацию — но асимметрия власти сохраняется. Техногиганты скрейпят, издатели реагируют.
Смелое предположение: к 4 кварталу 2025 года появятся издательские консорциумы, требующие роялти за обход или федеративные блокировки. До тех пор — экспериментируйте без гарантий. Давление на монетизацию? Беспощадно.
Издатели Mediavine полагаются на управляемый хостинг для снижения операционных нагрузок. Умный ход. Но AI — это дикая карта: сначала расходы, потом, возможно, ценность.
🧬 Связанные инсайты
- Читать больше: Dollar General удваивает сеть аудиорекламы
- Читать больше: Почему ваш маркетинговый анализ все еще ползет, пока конкуренты бегут?
Часто задаваемые вопросы
Что такое Cloudflare AI Crawl Control?
Инструменты Cloudflare позволяют владельцам сайтов блокировать или взимать плату с конкретных AI-краулеров на уровне CDN, интегрируясь через партнеров, таких как BigScoots, для удобного использования в WordPress.
Должны ли издатели блокировать всех AI-ботов?
Нет универсального правила — данные показывают компромиссы: блокировки сокращают охват, разрешения увеличивают расходы. Тестируйте для каждого сайта с помощью инструментов визуализации.
Как AI-краулинг влияет на доход издателей?
Пока косвенно — низкий реферальный трафик, но потенциальный рост обнаружения; инфраструктурные издержки реальны, а лицензионные перспективы спекулятивны.
