robots.txt закрывает URL страницы для поискового робота
Страница проверена техническим аудитом, но robots.txt запрещает её Googlebot или YandexBot. Поиск может не сканировать этот URL.
Индексация · ROBOTS_PAGE_DISALLOW · Приоритет: Средний
Что проверяется
Для не-seed HTML смотрится уже прочитанный robots.txt: isAllowed(finalUrl) для Googlebot и YandexBot. Запрет не исключает URL из технического обхода. Seed с Disallow стартового URL — ROBOTS_INDEXING_DISALLOW, этим кодом не дублируется. Файл не читался — not_checked, это не успех и не «запретов нет». 404 robots — not_applicable. SeolupaBot отдельно. Disallow не равен noindex и не доказывает исключение из индекса.
Частые причины
- Disallow: /catalog при открытой главной
- Отдельная группа Googlebot закрывает раздел, который есть в ссылках
- Яндекс-бот закрыт, Googlebot нет
Как исправить
Разрешите поисковым роботам URL, которые должны быть в индексе. Служебные разделы оставьте закрытыми и уберите из внутренних ссылок и sitemap.
Критерий приёмки
Не-seed URL обхода, закрытый Googlebot/YandexBot, виден как находка с указанием ботов.