Allowlist AI-краулеров 2026: кого пускать, кого блокировать

Пуская ИИ-краулера, вы заключаете сделку, и описать её стоит словами владельца бизнеса. Вы отдаёте копию контента, который и так публикуете бесплатно. Взамен получаете шанс оказаться тем источником, который ассистент назовёт, когда ваш клиент спросит у него, что купить.

Хорошая эта сделка или нет, зависит от конкретного краулера: задач у краулеров четыре, и пользу приносят не все. Ниже - что на самом деле делает каждый бот, рабочий robots.txt, правила Cloudflare, которые его закрепляют, и способ проверить, что всё работает.

Четыре задачи краулера

Прежде чем что-то разрешать или запрещать, разберитесь, какую именно работу делает бот. У одной компании часто несколько краулеров под разные задачи: OpenAI описывает четыре (OpenAI), Anthropic - три (Anthropic).

Самая частая ошибка - заблокировать всех четырёх, «чтобы защитить контент», и заодно отрезать себя от поискового индекса и просмотра внутри сессии. Именно эти две задачи и приводят вашу страницу в ответ. Что ещё влияет на цитирование, разобрано в материале «AEO в 2026: полное руководство».

Таблица ботов (май 2026)

Рабочий robots.txt

Для B2B-сайта, которому нужно как можно чаще попадать в цитаты и ничего не отдавать на обучение:

# Цитирующие - всё разрешено
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Kagibot
Allow: /

User-agent: YouBot
Allow: /

# Только обучение - блокируем
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Враждебные / без цитирующей отдачи
User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Webzio-Extended
Disallow: /

# Все остальные
User-agent: *
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

Поменяйте Disallow на Allow для обучающих строк (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), если хотите попасть в обучение моделей следующего поколения (большинству B2B-брендов это полезно: модель усваивает вашу терминологию). Оставляйте Disallow, только если опубликовали закрытое исследование, которое не хотите отдавать. Google-Extended - токен в robots.txt, а не отдельный краулер, и, по словам Google, на попадание в Google Поиск и ранжирование он не влияет (Google). Ещё один машиночитаемый файл для ИИ, llms.txt, разобран в материале «Что такое llms.txt».

Настройка в Cloudflare

robots.txt соблюдают только добросовестные боты. Bytespider, сервисы скрейпинга по подписке и скрейперы через жилые прокси его игнорируют. Заставить их соблюдать правила в 2026 году можно через панель AI Bots в Cloudflare (раздел Security, затем Bots и AI Bots); блокировка AI-ботов в один клик доступна на всех тарифах, включая бесплатный, с июля 2024 года (Cloudflare, 2024):

1. Проверьте, что именно закрывает общая блокировка AI. Cloudflare описывает исходную настройку как блокировку ботов, которые собирают данные для обучения, а новые пресеты делят ботов на Search, Agent и Training (документация Cloudflare). Если закрыть все три, цитирующие боты уйдут вместе со скрейперами.
2. Включите правила по каждому боту с такими настройками:
   • PerplexityBot, OAI-SearchBot, Claude-SearchBot: Allow.
   • GPTBot, ClaudeBot, Applebot-Extended: Allow или Managed Challenge в зависимости от вашей политики обучения (у Google-Extended нет своего user-agent, он живёт только в robots.txt).
   • Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
3. Добавьте собственное правило WAF с условием (cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot") и действием Managed Challenge. Так вы поймаете подражателей, у которых user-agent похож на AI-бота, но которых нет в списке проверенных.
4. Заведите URL-ловушку /disallow-honeypot/, указанную только в llms.txt, с ограничением 1 запрос с IP и действием Block 24h. Она ловит тех, кто игнорирует robots.txt, потому что легитимный AI-краулер на такой путь не зайдёт.

Проверка

Когда политика заработает, раз в неделю проверяйте:

• tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot" - показывает, что цитирующие боты по-прежнему заходят.
• Отчёт Bot traffic в разделе Security в Cloudflare Analytics: график Allowed/Challenged/Blocked по времени. Закрытые обучающие скрейперы должны оказаться в линии Blocked, а цитирующие боты - остаться в Allowed.
• Долю цитирования в Perplexity по вашим целевым запросам: в следующие недели после того, как вы откроете PerplexityBot, она должна начать расти, если раньше вас не цитировали. Какие метрики вообще считать, описано в полном руководстве по AEO.
• Отчёт «Эффективность» в Google Search Console: он не должен сдвинуться, потому что Google-Extended на Google Поиск не влияет.

Если после настройки PerplexityBot перестал заходить, значит, правила в Cloudflare стоят в неправильном порядке и более широкий Block срабатывает первым. Поднимите Allow для отдельных ботов выше.

Почему блокировать всё по умолчанию - ошибка

Три из четырёх задач работают вам на пользу: индексируют контент, чтобы цитировать его, открывают страницу, когда о ней спросил пользователь, и учат будущие модели тому, что известно о вашем бренде. Ничего полезного не приносит только одна - скрейперы вроде Bytespider.

Настройка по умолчанию 2024 года («заблокировать весь AI») имела смысл, пока цитирования ещё не было и краулеры просто уносили контент. В 2026 году оно есть: цитаты в Perplexity уже приводят измеримый трафик, Google AI Overview ставит ссылки на источники, а ChatGPT-User подтягивает в ответы актуальные данные. Теперь дорого обходится как раз блокировка.

От короткого robots.txt и нескольких правил Cloudflare зависит, будут ли вас цитировать, когда клиенты задают вопросы AI-инструментам, или вас там не окажется вовсе. Работы немного, а отдача копится годами.

Одна оговорка о трафике, который вы так получаете. Всё чаще после обхода на сайт приходит не человек, кликнувший по ссылке, а программа, действующая по чьему-то поручению. У такого посетителя другие требования, о них - в материале что сайт должен автоматическому посетителю. А файл, который ищут те же краулеры, разобран в статье про llms.txt.

Источники

• Do sites that block GPTBot get cited less by ChatGPT? - 1058 доменов, июль 2026. Отсюда цифры по цитированию и доли блокировок.
• Пресс-релиз Cloudflare, 1 июля 2025 - блокировка AI-краулеров по умолчанию для новых доменов.
• Cloudflare - block AI bots - пресеты Search, Agent и Training.
• OpenAI - краулеры и Anthropic - краулеры - что делает каждый бот.
• Google - common crawlers - Google-Extended и Google Поиск.
• Common Crawl - CCBot - кто им управляет и что он делает.