Что проверяет Googlebot Checker
- robots.txt — разрешает ли файл Googlebot сканировать именно эту страницу и какое правило сработало.
- Ответ сервера — код, редиректы и время ответа для Googlebot для смартфонов или для компьютеров.
- Индексация — noindex и nofollow в meta robots и X-Robots-Tag, canonical, title, description и H1.
- Сравнение с браузером — не блокирует ли сайт бота и не отдаёт ли ему другое содержимое.
- Подлинность IP — принадлежит ли адрес из логов Google или это подделка под Googlebot.
Почему Googlebot не может просканировать страницу
Какие бывают Googlebot
Googlebot для смартфонов сканирует большинство сайтов первым, потому что Google индексирует мобильную версию. У Googlebot для компьютеров, Googlebot Image, Video и News свои User-Agent. Отдельные роботы, например AdsBot или Google-InspectionTool, тоже подписываются именем Google. Правила robots.txt для них не одинаковы, поэтому важно знать, какой именно бот пришёл на сайт. Разобрать любую строку User-Agent поможет разбор User-Agent.
Как проверить, что это настоящий Googlebot
User-Agent легко подделать, поэтому по нему бота не узнают. Google советует две проверки. Первая: сделать обратный DNS-запрос по IP, убедиться, что имя заканчивается на googlebot.com или google.com, а затем прямым запросом этого имени получить тот же адрес. Вторая: сверить IP с файлами диапазонов, которые Google публикует в формате JSON. Наш инструмент делает обе проверки. Поддельные боты под Googlebot обычно скрейперы, и их безопасно блокировать.
Ограничения проверки
Мы лишь подставляем User-Agent Googlebot со своего сервера, поэтому сайты, которые пускают бота по IP-адресу, могут ответить нам иначе, чем настоящему Googlebot. Мы не выполняем JavaScript, а читаем HTML ответа: страницы, которые собирают содержимое в браузере, Googlebot отрендерит сам. Заголовки ответа подробно покажет HTTP Headers Checker, а есть ли страница в Google, проверит проверка индексации страницы.
Что ещё умеет StayIndexed
Эта страница — бесплатный инструмент сервиса StayIndexed. В кабинете можно сохранить список адресов, обновлять проверку одним кликом и видеть, когда изменилось то, что видит Googlebot (это тоже бесплатно), а основная задача сервиса — отслеживать, как ваши страницы чувствуют себя в Google.
Сколько это стоит
Проверка бесплатна: и на этой странице, и в кабинете. Токенами оплачиваются другие услуги: индексация, скорость и обратные ссылки — по 3 токена за проверку. При регистрации начисляется 30 токенов, без карты.
Частые вопросы
Что такое Googlebot?
Это поисковый робот Google, который посещает страницы, загружает их содержимое и передаёт его в индекс. Его работу определяют robots.txt, заголовки ответа и директивы на странице.
Как проверить, видит ли страницу Googlebot?
Введите адрес в форму выше: мы откроем её как Googlebot и проверим robots.txt, ответ сервера, noindex и canonical. Точнее всего покажет проверка URL в Google Search Console, но она работает только для вашего сайта.
Как узнать, что посетитель в логах — настоящий Googlebot?
Проверьте его IP: обратный DNS должен вести на googlebot.com или google.com, а прямой запрос этого имени должен вернуть тот же адрес. Или сверьте адрес с диапазонами, которые Google публикует в формате JSON. Обе проверки делает блок выше.
Почему Googlebot получает ошибку, а браузер нет?
Чаще всего сайт или его защита (Cloudflare, WAF, плагин безопасности) блокирует ботов по User-Agent или по скорости запросов. Разрешите настоящие IP-адреса Googlebot, а не только User-Agent.
Достаточно ли проверять User-Agent?
Нет. Строку User-Agent может указать кто угодно, и скрейперы часто выдают себя за Googlebot. Надёжно узнать бота можно только по IP-адресу.
Сколько стоит Googlebot Checker?
Ничего: проверка бесплатна и на этой странице, и в кабинете StayIndexed. В кабинете можно сохранить список адресов, обновлять проверку одним кликом и видеть историю изменений.