Индексация · ROBOTS_INDEXING_DISALLOW
robots.txt запрещает обход стартового URL поисковому роботу
Политика robots запрещает обход стартового URL для Googlebot или YandexBot.
Приоритет в аудите: Высокий
Что проверяется
Проверяется только seed и только читаемый текстовый robots.txt. Боты: Googlebot и YandexBot. SeolupaBot — отдельное правило ROBOTS_DISALLOW_ALL. Это не noindex и не запрет всего сайта. Совпавшее правило — в evidence. Остальные URL обхода — ROBOTS_PAGE_DISALLOW.
Частые причины
Стейджинг Disallow: / попал на прод
Отдельная группа User-agent: Googlebot
Как исправить
Для продакшена разрешите стартовый URL поисковым роботам. Закрытый контур держите на отдельном хосте.
Критерий приёмки
isAllowed стартового URL для Googlebot и YandexBot соответствует намерениям владельца; в находке видно совпавшее правило.