URL из sitemap закрыт robots.txt
Адрес есть в карте сайта, но robots.txt запрещает его краулеру. Технический аудит всё равно может запросить страницу.
Индексация · SITEMAP_URL_BLOCKED · Приоритет: Средний
Что проверяется
После чтения sitemap loc сверяется с robots.txt origin (User-agent краулера). Disallow не исключает URL из технического обхода: страница запрашивается в бюджете обхода или в бюджете sitemap-проб (до 40). Сверх этого бюджета закрытый loc сохраняется как listing-only, без GET. Если robots не проверен, статус not_checked, не «нет проблемы» и не разрешение.
Частые причины
- Sitemap строится из всех URL CMS, а robots закрывает служебные разделы
- Disallow добавили позже, карту не пересобрали
Как исправить
Sitemap — только URL, которые бот может запросить. Либо Allow в robots, либо удалите loc.
Критерий приёмки
В sitemap нет loc с подтверждённым Disallow; у находки указаны sitemap и robots.txt.