robots.txt отдаёт HTML

По адресу robots.txt пришёл HTML (по Content-Type или по началу тела). Такой ответ не разбирается как политика.

Индексация · ROBOTS_FILE_INVALID · Приоритет: Средний

Что проверяется

HTTP 200 на /robots.txt, MIME содержит html или тело начинается с <!doctype html / <html. Disallow из HTML не читается. Редирект на текстовый файл — не эта находка.

Частые причины

Catch-all отдаёт главную или шаблон 404 с кодом 200
Неверный Content-Type у CMS

Как исправить

Настройте отдельный текстовый файл. Проверьте, что финальный URL после редиректа — text/plain без HTML.

Критерий приёмки

Повторный запрос получает HTTP 200 и текст robots, а не HTML.