robots.txt запрещает обход стартового URL
Политика robots запрещает обход стартового URL для краулера. Технический аудит страницу всё равно проверяет.
Индексация · ROBOTS_DISALLOW_ALL · Приоритет: Высокий
Что проверяется
Проверяется стартовый URL для SeolupaBot. Совпавшее правило попадает в evidence.matchingRule. Страница при этом загружается: запрет — SEO-находка, а не ошибка загрузки. Это не доказательство блокировки Googlebot (см. ROBOTS_INDEXING_DISALLOW), не директива noindex и не доказательство, что адрес исключён из индекса.
Частые причины
- Стейджинг-правила попали на прод
- Плагин «закрыть от индекса»
Как исправить
Для продакшена разрешите нужные разделы. Закрытые контуры держите на отдельном хосте.
Критерий приёмки
Доступ SeolupaBot к стартовому URL соответствует намерениям владельца.