Индексация · ROBOTS_FILE_MISSING
Файл robots.txt отсутствует
Запрос /robots.txt вернул 404 или 410. Это не запрет индексации и не Disallow.
Приоритет в аудите: Средний
Что проверяется
Проверяется HTTP-статус файла у seed. 404 и 410 — отсутствие файла. 503 и сбой загрузки — не проверено. Отсутствие файла не равно ROBOTS_DISALLOW_ALL и не запускает ROBOTS_SITEMAP_MISSING.
Частые причины
Файл не выложен на origin
CMS отдаёт 404 на неизвестные пути
Как исправить
Положите text/plain robots.txt на https://example.com/robots.txt. Если файл не нужен, оставьте 404 осознанно — поисковики тогда используют значения по умолчанию.
Критерий приёмки
Повторный запрос получает HTTP 200 и текстовый robots.txt либо владелец подтверждает, что файла нет намеренно.