Индексация · SITEMAP_URL_BLOCKED
URL из sitemap закрыт robots.txt
Адрес есть в карте сайта, но robots.txt запрещает его нашему боту.
Приоритет в аудите: Средний
Что проверяется
После чтения sitemap loc сверяется с robots.txt origin (User-agent краулера). GET страницы не выполняется. Нескачанные закрытые loc сохраняются как listing-only страницы (до 40), не входят в maxPages. Если robots не проверен, статус not_checked, не «нет проблемы».
Частые причины
Sitemap строится из всех URL CMS, а robots закрывает служебные разделы
Disallow добавили позже, карту не пересобрали
Как исправить
Sitemap — только URL, которые бот может запросить. Либо Allow в robots, либо удалите loc.
Критерий приёмки
В sitemap нет loc с подтверждённым Disallow; у находки указаны sitemap и robots.txt.