Що таке robots.txt і навіщо він потрібен
Файл robots.txt лежить у корені сайту (наприклад, https://example.com/robots.txt) і підказує пошуковим ботам, які розділи можна сканувати, а які ні. Це не захист і не спосіб прибрати сторінку з Google: файл лише просить боти не заходити, а сторінка, закрита в robots.txt, іноді все одно потрапляє в індекс (без опису). Щоб сторінка гарантовано зникла з пошуку, потрібен мета-тег noindex.
З яких директив складається файл
- User-agent — для якого бота діють правила:
*означає всіх, аGooglebotлише бота Google. - Disallow — шлях, який не можна сканувати. Порожнє значення означає «дозволено все», а
/закриває весь сайт. - Allow — виняток із Disallow, наприклад дозволити один файл у закритій папці.
- Sitemap — повна адреса файлу sitemap.xml. Рядків Sitemap може бути кілька.
- Crawl-delay — пауза між запитами в секундах. Google її ігнорує, а Bing і Yandex враховують.
Що варто закрити, а що ні
Типові помилки в robots.txt
Найстрашніша помилка — залишити Disallow: / після запуску сайту: пошукові системи перестають сканувати все. Часто плутають регістр і слеш на початку шляху, закривають папки зі стилями, забувають адресу sitemap або кладуть файл не в корінь, а в підпапку. Після публікації файлу обов’язково перевірте його в Robots.txt Checker: він покаже помилки й підкаже, чи закрито конкретну адресу від потрібного бота.
Як установити готовий файл
Збережіть результат як robots.txt (саме з такою назвою, у нижньому регістрі, в кодуванні UTF-8) і завантажте в кореневу папку сайту. У WordPress цей файл також можна створити через SEO-плагін. Перевірте, що він відкривається за адресою /robots.txt і повертає код 200. Список адрес для sitemap допоможе скласти Sitemap Checker.
Обмеження генератора
Генератор складає базовий файл: групи для всіх ботів, окремих ботів і рядки Sitemap. Складні випадки з масками, кількома групами для одного бота й директивами конкретних пошуковиків перевірте вручну. Кожен сайт особливий, тому підставляйте лише ті шляхи, які існують у вас.
Що ще вміє StayIndexed
Ця сторінка — безкоштовний інструмент від сервісу StayIndexed. У кабінеті можна зберегти список сайтів і слідкувати, чи не змінився їхній robots.txt (це теж безкоштовно), а основна справа сервісу — стежити, як ваші сторінки почуваються в Google.
Скільки це коштує
Перевірка безкоштовна: і на цій сторінці, і в кабінеті. Токенами оплачуються інші послуги: індексація, швидкість і беклінки — по 3 токени за перевірку. При реєстрації нараховується 30 токенів, без картки.
Поширені запитання
Як створити robots.txt для сайту?
Оберіть шаблон або вкажіть шляхи вручну, додайте адресу sitemap і скопіюйте результат. Збережіть його як robots.txt і завантажте в корінь сайту.
Де має лежати файл robots.txt?
Лише в корені сайту: https://example.com/robots.txt. Для піддомену потрібен власний файл, а файл у підпапці боти не читають.
Чи можна закрити сторінку від Google через robots.txt?
Це лише прохання не сканувати сторінку. Закрита сторінка все одно може потрапити в індекс без опису. Щоб прибрати її з пошуку, використовуйте мета-тег noindex і не закривайте її в robots.txt, інакше бот його не побачить.
Як закрити сайт від ШІ-ботів?
Увімкніть опцію «Закрити від ШІ-ботів»: генератор додасть окремі групи для GPTBot, ClaudeBot, CCBot, Google-Extended та інших. Добросовісні боти виконують ці правила, але гарантії це не дає.
Для чого потрібен рядок Sitemap?
Він підказує ботам, де лежить карта сайту, і допомагає швидше знаходити нові сторінки. Рядків Sitemap може бути кілька, адреса має бути повною.
Скільки коштує генератор robots.txt?
Нічого: генератор безкоштовний і на цій сторінці, і в кабінеті StayIndexed, а працює він прямо у вашому браузері.