Проверка robots.txt онлайн
Проверь доступность страницы для Яндекса и Googlebot. Покажем robots.txt и правило, которое сработало для адреса.
- Без регистрации
Проверка публичного URL с ограничением объёма файла и переходов. Недоступный ответ не означает разрешённый обход.
Что проверяет инструмент
Результат опирается на полученные данные. Ограничения видны рядом с выводами.
Ответ robots.txt
Получаем robots.txt с проверяемого сайта и показываем ответ сервера. Так можно отличить отсутствующий файл от недоступного сервера или ограничения самой проверки.
Разобраться в правилеПравила выбранного робота
Разбираем группы User-agent и директивы Allow и Disallow. Ты выбираешь Googlebot или Yandexbot: правила для разных роботов могут отличаться даже в одном файле.
Разобраться в правилеДоступность пути
Сопоставляем путь введённой страницы с правилами выбранного робота. В результате видно совпавшее правило и вывод: обход разрешён, запрещён или не определён.
Разобраться в правилеСсылки на sitemap
Показываем обнаруженные ссылки на sitemap. Наличие такой ссылки ещё не означает, что файл карты доступен и все перечисленные страницы открыты для индексации.
Разобраться в правилеКак использовать результат
Технические факты помогают выбрать следующий шаг, но не обещают позиции в поиске.
Начни с адреса файла и HTTP-ответа. Затем проверь выбранного робота и конкретный путь страницы. Запрет для каталога может работать иначе, чем запрет для одной страницы или адреса с параметрами. Важен фактически совпавший шаблон, а не просто наличие строки Disallow в документе.
Разрешённый обход не подтверждает индексацию: на странице могут находиться noindex, другой canonical или редирект. И наоборот, запрет обхода сам по себе не удаляет уже известный поисковой системе адрес из выдачи. Для решения об индексации сопоставьте несколько сигналов.
После изменения файла повтори проверку на том же адресе и для обоих роботов. Если правило касается целого раздела, проверь несколько характерных страниц, включая вложенный путь. Полный аудит поможет увидеть масштаб проблемы, но не заменяет проверку того, что поисковик уже перечитал файл.
Вопросы об инструменте
Можно проверить robots.txt Яндекса?
Да. Выбери Yandexbot перед запуском. Результат относится к этому роботу и указанному адресу, поэтому его нельзя автоматически переносить на Googlebot.
Нужен ли доступ к панели сайта?
Нет. Для проверки robots.txt онлайн достаточно публичного адреса. Закрытые авторизацией ресурсы инструмент не открывает и учётные данные администратора не запрашивает.
Почему результат не определён?
Файл мог не ответить, вернуть неподдерживаемое содержимое или не уложиться в ограничения запроса. Такое состояние не означает разрешённого обхода. Изучите сообщение и повтори проверку после устранения причины.
Как проверить весь сайт?
Открой технический аудит по ссылке на этой странице. Он обойдёт доступные страницы, сохранит найденные запреты и покажет их вместе с метатегами и ответами сервера. Время аудита — от 10 минут.