Индексация · ROBOTS_FILE_INVALID
robots.txt отдаёт HTML
По адресу robots.txt пришёл HTML (по Content-Type или по началу тела). Такой ответ не разбирается как политика.
Приоритет в аудите: Средний
Что проверяется
HTTP 200 на /robots.txt, MIME содержит html или тело начинается с <!doctype html / <html. Disallow из HTML не читается. Редирект на текстовый файл — не эта находка.
Частые причины
Catch-all отдаёт главную или шаблон 404 с кодом 200
Неверный Content-Type у CMS
Как исправить
Настройте отдельный текстовый файл. Проверьте, что финальный URL после редиректа — text/plain без HTML.
Критерий приёмки
Повторный запрос получает HTTP 200 и текст robots, а не HTML.