Боты нейросетей: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended и как их настроить в robots.txt
Справочник ботов нейросетей с таблицей и готовыми примерами robots.txt для обучения и ИИ-поиска.
- GPTBot собирает данные для обучения моделей OpenAI; за попадание в поиск ChatGPT отвечает другой бот — OAI-SearchBot.
- Google-Extended — не отдельный краулер, а токен в robots.txt: он управляет использованием контента для Gemini, но не влияет на Google Поиск и AI Overviews.
- У Anthropic три бота: ClaudeBot (обучение), Claude-SearchBot (поиск), Claude-User (запросы пользователей).
- Боты «по запросу пользователя» (ChatGPT-User, Perplexity-User) по заявлениям самих компаний могут не следовать robots.txt.
- Блокировать обучение и при этом оставаться в ИИ-поиске можно: это разные user-agent.
GPTBot — самый известный ИИ-краулер, но далеко не единственный. Сегодня на сайт крупной компании ходят десятки ботов: одни собирают данные для обучения моделей, другие индексируют страницы для ИИ-поиска, третьи открывают страницу в момент, когда пользователь задал вопрос. Ошибка в robots.txt может как отдать контент на обучение без вашего решения, так и выключить сайт из ответов нейросетей. Ниже — справочник с таблицей и готовыми фрагментами.
01Что такое GPTBot и чем он отличается от OAI-SearchBot?
GPTBot — краулер OpenAI, который собирает контент для обучения генеративных моделей; OAI-SearchBot — отдельный бот, который индексирует сайты для поиска в ChatGPT. Это значит, что запрет GPTBot не убирает сайт из ответов ChatGPT Search, а запрет OAI-SearchBot — убирает.
По документации OpenAI (developers.openai.com/docs/bots) у компании сейчас четыре основных агента:
- GPTBot —
GPTBot/1.4; +https://openai.com/gptbot— обучение моделей. Следует robots.txt. - OAI-SearchBot —
OAI-SearchBot/1.4; +https://openai.com/searchbot— показ сайтов в поиске ChatGPT. Следует robots.txt. - ChatGPT-User —
ChatGPT-User/1.0; +https://openai.com/bot— заходы по действию пользователя (вопрос в ChatGPT, Custom GPT). OpenAI указывает, что правила robots.txt к нему могут не применяться. - OAI-AdsBot — проверка страниц, отправленных как реклама в ChatGPT.
Номера версий в user-agent меняются, поэтому в robots.txt указывайте только имя бота без версии.
ChatGPT официально не работает в РФ. Для российских компаний решение по ботам OpenAI важно прежде всего ради экспортных направлений и аудитории в СНГ и за рубежом.
02Какие боты нейросетей ходят на сайт: сводная таблица
Ниже — основные ИИ-краулеры, которые стоит учитывать в robots.txt. Колонка «Назначение» разделяет три типа: обучение моделей, индексация для ИИ-поиска и заходы по запросу пользователя.
| User-agent | Компания | Назначение | Следует robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Обучение моделей | ✓ |
| OAI-SearchBot | OpenAI | Индексация для поиска ChatGPT | ✓ |
| ChatGPT-User | OpenAI | Заход по действию пользователя | Может не следовать |
| ClaudeBot | Anthropic | Обучение моделей | ✓ |
| Claude-SearchBot | Anthropic | Индексация для поиска Claude | ✓ |
| Claude-User | Anthropic | Заход по запросу пользователя | ✓ |
| PerplexityBot | Perplexity | Индексация для ответов Perplexity | ✓ |
| Perplexity-User | Perplexity | Заход по запросу пользователя | Как правило, нет |
| Google-Extended | Токен: использование контента для Gemini (не краулер) | ✓ | |
| Bingbot | Microsoft | Индекс Bing, на котором основаны Copilot и частично другие ИИ | ✓ |
| YandexAdditional | Яндекс | Данные для генеративных ответов Яндекса | ✓ |
Источники: документация OpenAI, Anthropic, справка Perplexity, Google Search Central, Яндекс Вебмастер.
03Google-Extended: что он блокирует, а что — нет
Google-Extended не является отдельным краулером: это токен, который сообщает Google, можно ли использовать уже собранный Googlebot контент для обучения и работы Gemini. Сайт сканирует обычный Googlebot, а запрет Google-Extended лишь ограничивает дальнейшее использование данных.
Ключевое для SEO: по документации Google, Google-Extended не влияет на ранжирование в Google Поиске и не управляет AI Overviews. AI Overviews строятся на индексе Поиска, поэтому выйти из них, оставаясь в выдаче, через Google-Extended нельзя. Подробнее — в нашей статье о Google AI Overview.
04Боты Anthropic, Perplexity, Bing и Яндекса
У Anthropic, Perplexity и Microsoft логика та же, что у OpenAI: обучение, поиск и заходы пользователя разделены по разным user-agent. Поэтому решение принимается не «по компании», а по каждому боту отдельно.
- Anthropic. ClaudeBot собирает данные для обучения, Claude-SearchBot индексирует для поиска, Claude-User заходит на страницу по запросу пользователя. По справке Anthropic, все три следуют robots.txt и поддерживают Crawl-delay.
- Perplexity. PerplexityBot индексирует сайты для ответов и следует robots.txt. Perplexity-User загружает страницы в момент запроса и, по документации компании, как правило, игнорирует robots.txt, поскольку запрос инициирован пользователем.
- Microsoft. Bingbot — основа индекса Bing, на котором работает Copilot. Если Bingbot закрыт, сайт фактически выпадает из этой экосистемы. Как проверить индексацию — в статье Bing Webmaster Tools.
- Яндекс. YandexAdditional — user-agent, связанный с генеративными ответами Яндекса. Основной робот поиска — YandexBot; закрывать его ради ИИ нельзя — сайт выпадет из выдачи.
05Готовые примеры robots.txt для ботов нейросетей
Ниже — фрагменты под три типичных решения. Перед внедрением проверьте, нет ли в вашем robots.txt общего правила User-agent: * с Disallow: /, которое перекрывает всё остальное.
- 1Определите политикуРешите отдельно: разрешаете ли вы обучение моделей и хотите ли попадать в ИИ-поиск. Это два независимых вопроса.
- 2Выберите фрагмент нижеСкопируйте подходящий вариант и адаптируйте пути: закрытые разделы (личный кабинет, корзина) оставьте закрытыми для всех.
- 3Проверьте и отследитеПроверьте файл в Яндекс Вебмастере и Google Search Console, затем через 2–4 недели посмотрите логи сервера: какие боты реально заходят.
Вариант 1. Запретить обучение, остаться в ИИ-поиске — самый частый выбор для крупных компаний:
# Обучение моделей — запрещено
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# ИИ-поиск — разрешён
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Вариант 2. Открыть всё для максимальной видимости в нейросетях:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /Вариант 3. Закрыть отдельные разделы от ИИ-ботов (например, платные материалы):
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /premium/
Disallow: /research/
User-agent: *
Disallow: /account/
Disallow: /cart/Группировка нескольких User-agent над одним набором правил допустима по стандарту robots.txt (RFC 9309), но некоторые боты обрабатывают её некорректно — при сомнениях пишите отдельный блок для каждого.
robots.txt — это просьба, а не защита. Для контента, который нельзя отдавать ни при каких условиях, используйте авторизацию или блокировку на уровне сервера / CDN.
06Итог
GPTBot, ClaudeBot и Google-Extended управляют обучением моделей, а OAI-SearchBot, Claude-SearchBot, PerplexityBot и Bingbot — попаданием в ИИ-поиск. Блокируя «все ИИ-боты подряд», компании часто выключают себя из ответов нейросетей, хотя хотели лишь запретить обучение. Начните с аудита текущего robots.txt и логов сервера. Если нужна помощь с аудитом и стратегией видимости в нейросетях, обратитесь к команде ownlyreal.ai. Как увеличить шансы на упоминание после открытия доступа — в статье как попасть в ChatGPT и Алису.
Частые вопросы
Нужно ли блокировать GPTBot?
Это бизнес-решение. Блокировка GPTBot запрещает использовать контент для обучения моделей OpenAI, но не убирает сайт из поиска ChatGPT — за это отвечает OAI-SearchBot. Многие компании закрывают GPTBot и оставляют OAI-SearchBot открытым.
Что блокирует Google-Extended?
Google-Extended ограничивает использование контента для обучения и работы Gemini. Он не влияет на индексацию и ранжирование в Google Поиске и, по документации Google, не управляет показом в AI Overviews.
Как запретить Bingbot и стоит ли это делать?
Технически — строкой User-agent: Bingbot и Disallow: /. Но это уберёт сайт из Bing и экосистемы Copilot, поэтому для большинства компаний блокировка Bingbot вредна.
Соблюдает ли PerplexityBot robots.txt?
PerplexityBot, по заявлению Perplexity, соблюдает robots.txt. Агент Perplexity-User, который загружает страницы по запросу пользователя, как правило, robots.txt не учитывает, поэтому для жёсткой блокировки нужны правила на уровне сервера.
Чем ClaudeBot отличается от Claude-SearchBot?
ClaudeBot собирает данные, которые могут использоваться для обучения моделей Anthropic. Claude-SearchBot индексирует страницы для качества поиска в Claude. Их можно настраивать независимо.
Как проверить, какие ИИ-боты заходят на сайт?
Посмотрите логи веб-сервера или CDN и отфильтруйте запросы по user-agent из таблицы выше. Учтите, что user-agent можно подделать: официальные боты публикуют диапазоны IP-адресов для проверки.
