robots.txt запрещает обход стартового URL поисковому роботу
Политика robots запрещает обход стартового URL для Googlebot или YandexBot. Технический аудит страницу всё равно проверяет.
Индексация · ROBOTS_INDEXING_DISALLOW · Приоритет: Высокий
Что проверяется
Проверяется только seed и только читаемый текстовый robots.txt. Боты: Googlebot и YandexBot. SeolupaBot — отдельное правило ROBOTS_DISALLOW_ALL. Disallow не останавливает загрузку страницы. Это не noindex и не доказательство, что адрес исключён из индекса. Совпавшее правило — в evidence. Остальные URL обхода — ROBOTS_PAGE_DISALLOW.
Частые причины
- Стейджинг Disallow: / попал на прод
- Отдельная группа User-agent: Googlebot
Как исправить
Для продакшена разрешите стартовый URL поисковым роботам. Закрытый контур держите на отдельном хосте.
Критерий приёмки
isAllowed стартового URL для Googlebot и YandexBot соответствует намерениям владельца; в находке видно совпавшее правило.