Что проверяет Robots.txt Checker
- Доступность файла — код ответа, редиректы, размер (Google читает только первые 500 КиБ) и кодировку.
- Синтаксис — правила до первого User-agent, строки без двоеточия, неизвестные директивы, пути без слэша.
- Полное закрытие — не закрыт ли сайт от Googlebot через
Disallow: /. - Ресурсы для отображения — не закрыты ли CSS, JS и изображения, которые Google нужны, чтобы «увидеть» страницу.
- Sitemap — есть ли строка
Sitemap:и абсолютный ли адрес. - Проверка URL — может ли выбранный бот сканировать конкретную страницу, какое правило сработало и в какой строке.
Как работает robots.txt
Файл лежит в корне сайта (https://example.com/robots.txt) и состоит из групп: строка User-agent называет бота, а ниже идут правила Allow и Disallow с путями. Бот выбирает наиболее подходящую ему группу, а среди правил побеждает то, у которого путь длиннее; при равной длине побеждает Allow. Поддерживаются символы * (любые символы) и $ (конец адреса).
Частые ошибки в robots.txt
Скрывает ли Disallow страницу из Google
Нет. Disallow запрещает боту сканировать страницу, но не запрещает показывать её в поиске: если на неё есть ссылки, адрес может остаться в выдаче без описания. Чтобы убрать страницу из индекса, её нужно оставить открытой для сканирования и добавить noindex. Попала ли страница в Google, покажет проверка индексации страниц.
Ограничения проверки
Мы загружаем файл с публичного адреса одним запросом, поэтому сайты, блокирующие сторонних ботов (Cloudflare и т. п.), могут вернуть нам ошибку, хотя Googlebot видит файл нормально. У каждого поддомена и протокола свой robots.txt, поэтому нужный хост проверяйте отдельно. Файл sitemap, на который указывает строка Sitemap:, можно проверить в Sitemap Checker.
Как открывается страница после редиректов, покажет Redirect Checker.
Что ещё умеет StayIndexed
Эта страница — бесплатный инструмент сервиса StayIndexed. В кабинете можно сохранить список своих сайтов, обновлять проверку в один клик и видеть историю изменений robots.txt (тоже бесплатно), а основная задача сервиса — отслеживать, как ваши страницы чувствуют себя в Google.
Сколько это стоит
Проверка бесплатна: и на этой странице, и в кабинете. Токенами оплачиваются другие услуги: индексация, скорость и обратные ссылки — по 3 токена за проверку. При регистрации начисляется 30 токенов, без карты.
Частые вопросы
Что такое robots.txt?
Это текстовый файл в корне сайта, который подсказывает поисковым ботам, какие разделы можно сканировать, а какие нет, и где лежит sitemap. Это рекомендация для ботов, а не защита от доступа.
Где должен лежать robots.txt?
Только в корне хоста: https://example.com/robots.txt. Для каждого поддомена и протокола (http и https) действует отдельный файл, а файл в подпапке боты не читают.
Скрывает ли Disallow страницу из Google?
Нет. Disallow запрещает сканирование, но адрес всё равно может попасть в поиск без описания. Чтобы убрать страницу из выдачи, откройте её для сканирования и добавьте noindex.
Какой максимальный размер robots.txt?
Google читает первые 500 КиБ файла и игнорирует остальное. Поэтому длинные списки правил лучше сокращать шаблонами с подстановками.
Как проверить, закрыт ли конкретный URL?
Введите сайт, а во втором поле адрес страницы, и выберите бота. Мы покажем, разрешено ли сканирование или запрещено, какое правило сработало и в какой строке файла.
Сколько стоит проверка robots.txt?
Ничего: проверка бесплатна как на этой странице, так и в кабинете StayIndexed. В кабинете можно сохранить список сайтов, обновлять проверку в один клик и видеть историю изменений robots.txt.