Индексация · ROBOTS_PAGE_DISALLOW
robots.txt закрывает URL страницы для поискового робота
Страница попала в обход, но robots.txt запрещает её Googlebot или YandexBot. Поиск может не сканировать этот URL.
Приоритет в аудите: Средний
Что проверяется
Для не-seed HTML смотрится уже прочитанный robots.txt: isAllowed(finalUrl) для Googlebot и YandexBot. Seed с Disallow стартового URL — ROBOTS_INDEXING_DISALLOW, этим кодом не дублируется. Файл не читался — not_checked. 404 robots — not_applicable. SeolupaBot отдельно.
Частые причины
Disallow: /catalog при открытой главной
Отдельная группа Googlebot закрывает раздел, который есть в ссылках
Яндекс-бот закрыт, Googlebot нет
Как исправить
Разрешите поисковым роботам URL, которые должны быть в индексе. Служебные разделы оставьте закрытыми и уберите из внутренних ссылок и sitemap.
Критерий приёмки
Не-seed URL обхода, закрытый Googlebot/YandexBot, виден как находка с указанием ботов.