Что такое robots.txt и зачем он нужен
Файл robots.txt лежит в корне сайта (например, https://example.com/robots.txt) и подсказывает поисковым ботам, какие разделы можно сканировать, а какие нет. Это не защита и не способ убрать страницу из Google: файл лишь просит боты не заходить, а страница, закрытая в robots.txt, иногда всё равно попадает в индекс (без описания). Чтобы страница гарантированно исчезла из поиска, нужен мета-тег noindex.
Из каких директив состоит файл
- User-agent — для какого бота действуют правила:
*означает всех, аGooglebotтолько бота Google. - Disallow — путь, который нельзя сканировать. Пустое значение означает «разрешено всё», а
/закрывает весь сайт. - Allow — исключение из Disallow, например разрешить один файл в закрытой папке.
- Sitemap — полный адрес файла sitemap.xml. Строк Sitemap может быть несколько.
- Crawl-delay — пауза между запросами в секундах. Google её игнорирует, а Bing и Yandex учитывают.
Что стоит закрыть, а что нет
Частые ошибки в robots.txt
Самая страшная ошибка — оставить Disallow: / после запуска сайта: поисковые системы перестают сканировать всё. Часто путают регистр и слеш в начале пути, закрывают папки со стилями, забывают адрес sitemap или кладут файл не в корень, а в подпапку. После публикации файла обязательно проверьте его в Robots.txt Checker: он покажет ошибки и подскажет, закрыт ли конкретный адрес от нужного бота.
Как установить готовый файл
Сохраните результат как robots.txt (именно с таким названием, в нижнем регистре, в кодировке UTF-8) и загрузите в корневую папку сайта. В WordPress этот файл также можно создать через SEO-плагин. Убедитесь, что он открывается по адресу /robots.txt и возвращает код 200. Список адресов для sitemap поможет составить Sitemap Checker.
Ограничения генератора
Генератор составляет базовый файл: группы для всех ботов, отдельных ботов и строки Sitemap. Сложные случаи с масками, несколькими группами для одного бота и директивами конкретных поисковиков проверьте вручную. Каждый сайт особенный, поэтому подставляйте только те пути, которые существуют у вас.
Что ещё умеет StayIndexed
Эта страница — бесплатный инструмент сервиса StayIndexed. В кабинете можно сохранить список сайтов и следить, не изменился ли их robots.txt (это тоже бесплатно), а основное дело сервиса — следить, как ваши страницы чувствуют себя в Google.
Сколько это стоит
Проверка бесплатна: и на этой странице, и в кабинете. Токенами оплачиваются другие услуги: индексация, скорость и обратные ссылки — по 3 токена за проверку. При регистрации начисляется 30 токенов, без карты.
Частые вопросы
Как создать robots.txt для сайта?
Выберите шаблон или укажите пути вручную, добавьте адрес sitemap и скопируйте результат. Сохраните его как robots.txt и загрузите в корень сайта.
Где должен лежать файл robots.txt?
Только в корне сайта: https://example.com/robots.txt. Для поддомена нужен собственный файл, а файл в подпапке боты не читают.
Можно ли закрыть страницу от Google через robots.txt?
Это лишь просьба не сканировать страницу. Закрытая страница всё равно может попасть в индекс без описания. Чтобы убрать её из поиска, используйте мета-тег noindex и не закрывайте её в robots.txt, иначе бот его не увидит.
Как закрыть сайт от ИИ-ботов?
Включите опцию «Закрыть от ИИ-ботов»: генератор добавит отдельные группы для GPTBot, ClaudeBot, CCBot, Google-Extended и других. Добросовестные боты выполняют эти правила, но гарантии это не даёт.
Для чего нужна строка Sitemap?
Она подсказывает ботам, где лежит карта сайта, и помогает быстрее находить новые страницы. Строк Sitemap может быть несколько, адрес должен быть полным.
Сколько стоит генератор robots.txt?
Ничего: генератор бесплатен и на этой странице, и в кабинете StayIndexed, а работает он прямо в вашем браузере.