ChatGPT не читает сайт: пошаговая диагностика доступности
Как различить отсутствие цитирования и техническую блокировку: HTTP-ответ, содержимое страницы, robots.txt, защита и повторная проверка.
Отсутствие ссылки в ответе не доказывает, что сайт недоступен. Сначала проверьте возможность получить страницу, затем — её содержание и только после этого делайте выводы о выборе источников.
Фраза «ChatGPT не видит сайт» объединяет несколько проблем: страницу нельзя открыть, вместо текста возвращается проверка браузера, доступ ограничен правилами или доступный материал просто не выбран в ответ. Для каждой причины нужен свой следующий шаг.
01Шаг 1. Проверьте конкретный URL
Возьмите страницу, которую ожидали увидеть в ответе. Откройте её без авторизации и проверьте конечный адрес после переадресаций. Главная может работать, пока нужный раздел требует входа или возвращает ошибку.
| Наблюдение | Что проверять |
|---|---|
| 401 или форма входа | Публичность материала |
| 403 или страница проверки | Защиту и причину ограничения |
| 404 | Существование URL и старые ссылки |
| 5xx | Доступность приложения и сервера |
| 200, но текста нет | Что реально находится в ответе страницы |
Код 200 не подтверждает наличие статьи: сервер может вернуть оболочку приложения, сообщение об ошибке или страницу согласия.
02Шаг 2. Проверьте извлекаемое содержание
Попросите разработчика посмотреть, доступны ли заголовок, основной текст и ссылки в HTML-ответе и после штатной загрузки страницы. Не делайте категоричный вывод, что все AI-сервисы одинаково исполняют JavaScript: условия получения страниц различаются.
Практичная цель — сделать ключевые сведения доступными в обычном документе, без обязательного входа, выбора фильтра или сложного взаимодействия. Интерактивная таблица может дополнять текстовую версию.
03Шаг 3. Разделите правила и сетевую защиту
robots.txt описывает правила обхода, а CDN или WAF может фактически остановить запрос. Разрешение в одном месте не отменяет блокировку в другом.
OpenAI рекомендует учитывать OAI-SearchBot и опубликованные диапазоны его IP при организации доступа для поиска. Документация роботов. Проверка с произвольно подставленным User-Agent не доказывает, что настоящий робот получил тот же результат.
04Шаг 4. Проверьте доступность в поиске отдельно
Если задача связана с Google AI Overviews, используйте инструменты проверки индексирования Google. Требования Google к участию в ИИ-функциях описаны отдельно; их нельзя автоматически переносить на все другие сервисы. Справка Google.
Успешное открытие URL через чат подтверждает только конкретное получение страницы в конкретном сценарии. Оно не равно включению в поисковую базу или регулярному цитированию.
05Что передать разработчику
Сформируйте короткую карточку: URL, время проверки, полученный статус, текст ответа, цепочка переходов и ожидаемое поведение. Если есть событие блокировки, приложите идентификатор правила. Секреты, персональные данные и токены в карточку не включайте.
После изменения повторите ту же проверку. «Страница доступна» — технический результат. «Страница появилась в ответе» — отдельное наблюдение. Такой порядок помогает исправить реальный дефект, а не бесконечно менять настройки из-за одного отсутствующего упоминания.
