Как разрешить OAI-SearchBot в robots.txt и проверить правило
Пример разрешения OAI-SearchBot, отдельная политика для GPTBot и проверка robots.txt вместе с доступностью страниц.
Разрешение OAI-SearchBot относится к поиску ChatGPT. Его нужно проверять вместе с остальными правилами сайта и фактической доступностью страниц.
По документации OpenAI настройки OAI-SearchBot и GPTBot независимы: доступ для поиска можно отделить от использования контента для обучения. Официальная документация.
01Сначала прочитайте действующий файл целиком
Откройте robots.txt на нужном хосте. Сохраните текущую версию и проверьте все группы, которые могут относиться к роботу: отдельные записи, общую группу и ограничения путей. Не дописывайте новый блок вслепую, если такой User-Agent уже присутствует.
Проверьте также, не редактируется ли файл из CMS, CDN или автоматически при сборке. Иначе ручное изменение может исчезнуть при следующем выпуске сайта.
02Пример раздельной политики
Ниже показан фрагмент, а не полный файл для замены. Он иллюстрирует разрешение поискового обхода и отдельный запрет для GPTBot:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Перед применением согласуйте область доступа. Разрешение всего сайта подходит не каждой политике: частные материалы должны защищаться авторизацией, а не только инструкциями для роботов.
03Проверьте три уровня
| Уровень | Проверка |
|---|---|
| Файл | Доступен ли актуальный robots.txt на правильном хосте |
| Правила | Какой набор правил применяется к выбранному URL |
| Ответ сервера | Получает ли подтверждённый робот нужный материал |
Изменение robots.txt не снимает ограничение WAF, не открывает авторизованный раздел и не исправляет ошибку сервера. Поэтому проверка заканчивается не сохранением файла, а получением ожидаемого содержимого.
04Избегайте типичных ошибок
Заменить весь файл коротким примером. Так можно потерять действующие ограничения и настройки. Вносите минимальное изменение в существующую конфигурацию.
Считать доступ доказанным по одному тесту заголовка. Запрос с подставленным User-Agent не равен реальному обращению поискового робота. Он лишь помогает проверить часть логики.
Считать robots.txt защитой секретов. Это публичная инструкция, а не механизм контроля доступа. Закрытые данные не должны отдаваться без соответствующей авторизации.
Объявить цитирование сразу после правки. Файл может измениться раньше, чем обновится состояние внешних систем. Появление страницы в ответе требует отдельного наблюдения.
05Что зафиксировать после изменения
Запишите дату, прежнее и новое правило, URL проверки и результат. Если доступ есть, но страница не используется в ответах, переходите к анализу содержания и соответствия вопросу. Не расширяйте разрешения без признаков технической необходимости.
Нужно ли разрешать GPTBot ради поиска?
Нет, эти политики можно задавать отдельно. Решение о каждой принимается по её назначению. Для сравнения поискового обхода, обучения и обращений по запросу пользователя используйте отдельную статью о роботах OpenAI.
