AI-краулеры сайта: как проверить GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot?

В отчёте по посещаемости может не быть ни одного перехода из ChatGPT, хотя его поисковый робот регулярно обращается к сайту. Бывает и наоборот: в журнале виден «GPTBot», но запрос пришёл с чужого IP и не имеет отношения к OpenAI. Чтобы разобраться, скриншота robots.txt и счётчика визитов мало: нужно по порядку проверить доступ, серверные запросы и то, откуда они пришли.

Ниже я разберу четыре робота, которые часто объединяют под названием «AI-краулеры». Для каждого покажу, что он делает, как найти его обращения и какие выводы можно сделать по логам. Инструкция подходит для сайта на любой CMS, если есть доступ к журналам сервера или CDN.

Что именно можно проверить?

У проверки пять уровней, и каждый отвечает на свой вопрос:

• robots.txt – какие правила обхода опубликованы;
• журнал сервера – дошёл ли запрос до сервера;
• журнал CDN или WAF – не остановили ли обращение раньше;
• IP-адрес – действительно ли запрос пришёл от заявленного сервиса;
• код ответа и HTML – что получил робот.

Ни один из этих сигналов по отдельности не подтверждает, что страницу использовали в ответе нейросети.

Допустим, вы проверяете страницу услуги. В robots.txt нет запрета для OAI-SearchBot. Это означает только то, что в опубликованной политике обход разрешён. Если за выбранный период в логах нет обращения, нельзя утверждать, что поисковый робот уже видел страницу. Если обращение есть, но сервер ответил 403, содержимое он не получил. Даже подтверждённый ответ 200 говорит только о доступе: будущую ссылку в ChatGPT он не обещает.

Для такой проверки заранее зафиксируйте конкретный URL, хост и период. Иначе легко сравнить правило для www.example.com с логом example.com или принять визит к главной странице за проверку нужной статьи.

Рисунок 1. Пять сигналов проверки AI-краулера: от правила в robots.txt до HTML, который получил бот

Чем различаются четыре бота?

Сходные названия скрывают разные задачи. Особенно легко перепутать GPTBot с поисковым роботом ChatGPT и ClaudeBot с поиском Claude.

У сервисов есть и другие агенты. ChatGPT-User, Claude-User и Perplexity-User могут открывать страницу после действия пользователя. У Anthropic поисковую задачу выполняет отдельный Claude-SearchBot. Не записывайте их посещения в статистику четырёх ботов из заголовка: это разные события и разные настройки доступа.

OpenAI прямо допускает, что при разрешении GPTBot и OAI-SearchBot один обход может быть использован для обеих задач, чтобы не загружать сайт повторно. Поэтому отсутствие отдельной строки GPTBot в журнале не доказывает, что контент никогда не участвовал в обучающем сценарии. Смотрите актуальную политику для обоих агентов и документацию владельца бота: по одному имени в логе такой вывод не сделать.

Шаг 1. Проверьте robots.txt

Откройте https://ваш-домен/robots.txt именно на том хосте, где расположена проверяемая страница. Если сайт доступен с www и без него, проверьте редирект и конечный хост. Затем найдите группы с точными именами GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot, общую группу User-agent: * и правила для интересующего пути. Проверяйте весь файл: правило для конкретного агента и общее правило могут давать разный результат.

Если вы хотите оставить поиск ChatGPT открытым, но отказаться от обучающего обхода OpenAI, минимальный пример выглядит так:

1User-agent: GPTBot2Disallow: /3
4User-agent: OAI-SearchBot5Allow: /Копировать

Это пример политики для публичного сайта. Не вставляйте его поверх своего robots.txt: сначала сверьте остальные группы и ограничения для закрытых разделов. Для Anthropic решение по ClaudeBot принимают отдельно от Claude-SearchBot. PerplexityBot тоже настраивается отдельно от пользовательского Perplexity-User. Для ответов Алисы AI у Яндекса свои роботы, YandexAdditional и YandexAdditionalBot; как с ними обращаться, я написал в статье о том, как попасть в ответы Алисы AI.

Для примера – robots.txt этого сайта. В нём по именам перечислены 18 агентов: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, YandexBot и другие. Правила у всех одинаковые: публичные страницы открыты, админка и служебные адреса закрыты. Так по файлу сразу видно решение по каждому боту.

Robots.txt сообщает добросовестному роботу, какие пути не обходить. Он не защищает личный кабинет, документы по закрытой ссылке и другой конфиденциальный контент. Для них нужны права доступа на стороне сервера. Если вы только изменили файл, не ждите немедленного изменения в поиске: OpenAI и Perplexity предупреждают, что применение обновлённых правил может занять около суток.

Шаг 2. Найдите обращения в логах

Попросите у администратора access log веб-сервера за нужный период или откройте журнал запросов в панели CDN. Минимальный набор полей:

• время;
• исходный IP и хост;
• метод и путь;
• строка User-Agent;
• HTTP-статус.

Полезны также конечный статус после редиректа и признак срабатывания WAF. Названия полей у хостингов разные, смысл проверки тот же.

Ищите точные имена четырёх агентов без привязки к номеру версии. Например, GPTBot/1.4 и более поздняя версия должны попасть в одну группу GPTBot. Отдельно посмотрите обращения к /robots.txt, а затем к проверяемому URL. Робот мог сначала прочитать правила, не запрашивая страницу. Записи о ChatGPT-User не подменяют записи об OAI-SearchBot.

На этом сайте первым из AI-краулеров пришёл ClaudeBot – в день запуска, 9 сентября 2026 года. Сайт размещён на хостинге в Санкт-Петербурге, и для бота это препятствием не стало.

Вот условный пример строки журнала. IP 192.0.2.24 используется только для иллюстрации и не принадлежит названному боту:

12026-09-24T10:15:03Z 192.0.2.24 GET /blog/example 403 "OAI-SearchBot/1.4"Копировать

Эта строка говорит, что запрос с такой строкой User-Agent дошёл до точки логирования и получил 403. Она пока не доказывает происхождение от OpenAI и не показывает, почему доступ закрыт. Дальше нужно проверить IP и правила защиты.

Если лог пуст, сначала проверьте полноту наблюдения:

• включено ли логирование на нужном хосте;
• хранит ли панель данные за выбранные даты;
• не останавливает ли CDN запрос до сервера;
• не переписывает ли обратный прокси исходный IP – тогда в access log остаётся только его адрес, и нужны журналы CDN или корректно настроенная передача клиентского IP.

Пустой результат в неполном журнале не доказывает, что визитов не было.

Если сайт работает через Cloudflare, заблокированный им запрос до сервера не доходит. Его видно в разделе Security Events в панели Cloudflare: там есть IP, User-Agent, путь и принятое решение. На бесплатном тарифе и на Pro эти события хранятся 24 часа, поэтому смотрите или выгружайте их в день проверки.

Обычная веб-аналитика здесь не заменяет серверные логи. Скрипт счётчика исполняется на странице в браузере; краулер может получить HTML, не запустив этот скрипт. Счётчик полезен для переходов людей из AI-сервисов, но вопрос «приходил ли OAI-SearchBot» решается на уровне HTTP-запросов.

Рисунок 2. Какие поля сохранить из строки лога: время и хост, IP и User-Agent, путь и метод, статус и WAF

Шаг 3. Подтвердите IP бота

Любой отправитель запроса может написать в заголовке User-Agent слово GPTBot или PerplexityBot. Для проверки подлинности сопоставьте исходный IP из журнала с диапазонами, опубликованными владельцем бота. Не ищите один адрес из старой статьи: списки обновляются, а адрес обычно проверяется на принадлежность диапазону CIDR, например сети с маской /28.

OpenAI публикует отдельные JSON-списки для GPTBot и OAI-SearchBot. Anthropic даёт список адресов своих ботов. Perplexity публикует список PerplexityBot. В каждом случае сверяйте актуальную версию по прямой официальной ссылке и проверяйте, входит ли IP в один из указанных префиксов. Для Anthropic адрес из общего списка подтверждает инфраструктуру компании, а конкретный агент определяется дополнительно по User-Agent.

У CDN есть ещё один нюанс: в журнале сервера исходный IP может находиться в отдельном доверенном поле, а основной адрес принадлежать прокси. Не принимайте произвольный заголовок вроде X-Forwarded-For из публичного запроса за доказательство. Администратор должен подтвердить, какие поля заполняет доверенная инфраструктура и как восстанавливается адрес отправителя.

Если User-Agent совпадает, но IP не входит в опубликованный диапазон, отмечайте запись как неподтверждённую. Если IP совпадает, но журнал не сохранил User-Agent, происхождение инфраструктуры можно проверить, однако приписывать запрос конкретному боту без дополнительного сигнала нельзя. Сохраняйте дату проверки списков: спустя месяц их состав может отличаться.

Шаг 4. Проверьте статус ответа и WAF

После подтверждения адреса посмотрите, что получил бот:

Помимо кода запишите время, сработавшее правило защиты и повторные попытки.

Сверьте журнал сервера с журналом CDN/WAF. Правило по стране, IP, частоте или поведению может остановить запрос ещё до origin-сервера. Тогда robots.txt выглядит открытым, а серверный access log пуст. Perplexity отдельно советует проверять настройки WAF и при необходимости сочетать проверку User-Agent с официальными IP-диапазонами.

Что изменилось в Cloudflare в сентябре 2026 года?

По данным самой компании, через Cloudflare работает больше 20% доменов, и на этих сайтах пускать краулера или нет, решают настройки Cloudflare для AI-ботов. С июля 2026 года они есть на всех тарифах, включая бесплатный, в разделе Security Settings. Ботов там делят по назначению: Search собирает материалы, чтобы потом отвечать на вопросы, Agent действует от имени человека прямо сейчас (например, запросы чатов вроде ChatGPT-User, Claude-User и Perplexity-User), Training забирает контент для обучения моделей. Каждую категорию можно разрешить, закрыть на страницах с рекламой или закрыть на всём сайте.

15 сентября 2026 года вступили в силу два изменения. Новые домены в Cloudflare по умолчанию закрывают Training и Agent на страницах с рекламой, Search остаётся открытым. А роботов, которые совмещают поиск и обучение, теперь оценивают по самому строгому правилу. Cloudflare прямо называет Googlebot, Applebot и Bingbot: на сайтах, где закрыт Training, в том числе старым переключателем Block AI bots, они теперь тоже блокируются, если владелец не отказался от изменения до этой даты.

Если вы в прошлом году включили Block AI bots, чтобы закрыть GPTBot, откройте Security Settings и проверьте правила для AI-ботов: та же настройка сегодня может не пускать Googlebot и Bingbot. Управляемый robots.txt от Cloudflare, если он включён, добавляет в файл строку вроде Content-Signal: search=yes,ai-train=no. Она только сообщает ботам ваше пожелание, блокируют их правила в Security Settings.

Не делайте вывод о доступности реального бота по запросу, отправленному с вашего компьютера с подставленным User-Agent. Такой тест помогает увидеть простую фильтрацию по имени, но не воспроизводит исходный IP, репутацию адреса и правила для центра обработки данных. Если после исправления WAF новый подтверждённый визит ещё не произошёл, зафиксируйте изменение и продолжайте наблюдение, не записывая проблему в решённые задним числом.

Иногда сервер возвращает 200, но важный текст появляется только после выполнения JavaScript. Для технического аудита откройте исходный HTML ответа и проверьте, видны ли в нём название, основной текст и ссылки. Сам статус 200 не гарантирует, что робот получил содержательный материал.

Как читать результаты проверки?

Полезно записывать вывод отдельно для каждого бота и URL. Тогда в отчёте не появится расплывчатое «нейросети обходят сайт», за которым могут скрываться совершенно разные состояния.

Для регулярного мониторинга достаточно сохранять дату, бот, URL, подтверждение IP, статус и причину блокировки. По этой таблице уже можно увидеть, что изменилось после правки robots.txt или WAF. Отдельно отслеживайте ссылки и упоминания в ответах AI-сервисов: это другой показатель, его я каждый месяц замеряю по одной методике, когда веду мониторинг AI-видимости.

Рисунок 3. Четыре исхода проверки краулера и следующий шаг для каждого

Частые вопросы

Можно ли закрыть GPTBot и оставить OAI-SearchBot?

Да. OpenAI описывает настройки этих роботов как независимые: запрет GPTBot относится к обучающему обходу, а OAI-SearchBot отвечает за поиск в ChatGPT. При этом проверьте robots.txt и сетевой доступ для поискового бота. Само разрешение не гарантирует, что конкретная страница появится в ответе.

Почему в логах нет GPTBot, хотя сайт открыт?

Отсутствие строки может означать, что робот не обращался к сайту в доступный период, обращение осталось в журнале CDN или часть логов не сохранилась. Кроме того, OpenAI сообщает о возможном использовании результата одного обхода для двух задач, если оба бота разрешены. Не превращайте отсутствие отдельной записи в абсолютное утверждение об использовании контента.

ClaudeBot и Claude-SearchBot нужно проверять вместе?

Проверять стоит оба, но считать отдельно. ClaudeBot относится к сбору материалов, которые могут использоваться для развития моделей. Claude-SearchBot служит поисковому сценарию Claude. Блокировка первого не равна блокировке второго. Если вам важно попадать в поиск Claude, сосредоточьтесь на правилах и фактических запросах Claude-SearchBot.

Достаточно ли файла llms.txt для допуска AI-краулеров?

Нет. Наличие файла llms.txt не заменяет доступность HTML, корректные ответы сервера, robots.txt и настройки WAF. Официально обход этих ботов настраивается в robots.txt по их именам. Проверка визита по-прежнему требует журналов и подтверждения источника запроса.

Что делать после проверки?

Сначала устраните конкретную причину: ошибку пути, неверную группу в robots.txt, блокировку CDN/WAF, сбой сервера или страницу, в HTML которой нет основного содержания. После изменения снова проверьте правила и дождитесь нового подтверждённого обращения. Результат записывайте по каждому боту отдельно: у GPTBot и ClaudeBot одна задача, у OAI-SearchBot и PerplexityBot другая.

Если доступ ломается на нескольких уровнях и неясно, где именно, закажите техническую GEO/AEO-оптимизацию в Izotov.Agency. Я проверю robots.txt, доступ AI-краулеров, ответ сервера, ограничения CDN/WAF и доступность содержания страницы без JavaScript, затем составлю план исправлений. Такой аудит помогает убрать технические препятствия; решение о показе и цитировании страницы остаётся за самими AI-сервисами.

Источники

• OpenAI, Overview of OpenAI Crawlers
• Anthropic, Does Anthropic crawl data from the web?
• Perplexity, Perplexity Crawlers
• Cloudflare, Your site, your rules: new AI traffic options for all customers
• Cloudflare, Block AI bots
• Cloudflare, Security Events