Що перевіряє Robots.txt Checker
- Доступність файлу — код відповіді, редиректи, розмір (Google читає лише перші 500 КіБ) і кодування.
- Синтаксис — правила до першого User-agent, рядки без двокрапки, невідомі директиви, шляхи без слеша.
- Повне блокування — чи не закрито сайт від Googlebot через
Disallow: /. - Ресурси для відображення — чи не закриті CSS, JS і зображення, які Google потрібні, щоб «побачити» сторінку.
- Sitemap — чи є рядок
Sitemap:і чи адреса абсолютна. - Перевірка URL — чи дозволено вибраному боту сканувати конкретну сторінку, яке правило спрацювало й у якому рядку.
Як працює robots.txt
Файл лежить у корені сайту (https://example.com/robots.txt) і складається з груп: рядок User-agent вказує бота, а під ним йдуть правила Allow і Disallow зі шляхами. Бот обирає найбільш підходящу для нього групу, а серед правил виграє те, чий шлях довший; якщо довжина однакова, перемагає Allow. Підтримуються символи * (будь-які символи) і $ (кінець адреси).
Типові помилки в robots.txt
Чи ховає Disallow сторінку з Google
Ні. Disallow забороняє боту сканувати сторінку, але не забороняє показувати її в пошуку: якщо на неї ведуть посилання, адреса може лишитися в результатах без опису. Щоб прибрати сторінку з індексу, її треба залишити відкритою для сканування й додати noindex. Чи потрапила сторінка в Google, перевірить перевірка індексації сторінки.
Обмеження перевірки
Ми завантажуємо файл з публічної адреси одним запитом, тому сайти, що блокують сторонніх ботів (Cloudflare тощо), можуть віддати нам помилку, хоча Googlebot бачить файл нормально. Кожен субдомен і протокол мають свій robots.txt, тому перевіряйте потрібний хост окремо. Файл sitemap, на який вказує рядок Sitemap:, перевірить Sitemap Checker.
Як відкривається сторінка після редиректів, покаже Redirect Checker.
Що ще вміє StayIndexed
Ця сторінка — безкоштовний інструмент від сервісу StayIndexed. У кабінеті можна зберегти список своїх сайтів, оновлювати перевірку одним кліком і бачити історію змін robots.txt (це теж безкоштовно), а основна справа сервісу — стежити, як ваші сторінки почуваються в Google.
Скільки це коштує
Перевірка безкоштовна: і на цій сторінці, і в кабінеті. Токенами оплачуються інші послуги: індексація, швидкість і беклінки — по 3 токени за перевірку. При реєстрації нараховується 30 токенів, без картки.
Поширені запитання
Що таке robots.txt?
Це текстовий файл у корені сайту, який підказує пошуковим ботам, які розділи можна сканувати, а які ні, і де лежить sitemap. Це рекомендація для ботів, а не захист від доступу.
Де має лежати robots.txt?
Лише в корені хоста: https://example.com/robots.txt. Для кожного субдомена й протоколу (http та https) діє окремий файл, а файл у підпапці боти не читають.
Чи ховає Disallow сторінку з Google?
Ні. Disallow забороняє сканування, але адреса все одно може потрапити в пошук без опису. Щоб прибрати сторінку з результатів, відкрийте її для сканування й додайте noindex.
Який максимальний розмір robots.txt?
Google читає перші 500 КіБ файлу, решту ігнорує. Тому довгі списки правил краще скорочувати шаблонами зі зірочкою.
Як перевірити, чи заблоковано конкретний URL?
Введіть сайт, а в друге поле адресу сторінки й виберіть бота. Ми покажемо, дозволено чи заборонено сканування, яке правило спрацювало й у якому рядку файлу.
Скільки коштує перевірка robots.txt?
Нічого: перевірка безкоштовна і на цій сторінці, і в кабінеті StayIndexed. У кабінеті можна зберегти список сайтів, оновлювати перевірку одним кліком і бачити історію змін robots.txt.