Индексация · ROBOTS_UNSUPPORTED_DIRECTIVE
В robots.txt есть директивы, которые Google не использует
В читаемом robots.txt найдены Crawl-delay, Host, Clean-param, Noindex или Nofollow. Google их не применяет.
Приоритет в аудите: Низкий
Что проверяется
Только seed и только usable text/plain. Clean-param не означает, что все query закрыты. Host не проверяется как зеркало. Noindex в robots.txt не равен meta robots. Это наблюдение, heuristic.
Частые причины
Шаблон Яндекса/старый плагин
Попытка закрыть UTM через Clean-param
Как исправить
Для Google используйте Allow/Disallow, Sitemap и meta/X-Robots. Clean-param при необходимости оставьте для Яндекса, не считая его универсальным запретом параметров.
Критерий приёмки
В находке перечислены директивы; отсутствие Clean-param не требуется, если владелец держит его только для Яндекса.