Что показывает симулятор поискового робота
- Мета-теги — title, description, robots, canonical, язык, viewport, hreflang и Open Graph.
- Структуру заголовков — H1–H6 в порядке появления, чтобы увидеть, логична ли иерархия.
- Видимый текст — то, что остаётся на странице без скриптов и стилей, с количеством слов.
- Ссылки — внутренние и внешние, с анкорами и отметками nofollow.
- Картинки — адреса и alt, а также сколько картинок без описания.
- Структурированные данные и скрипты — типы schema.org в JSON-LD, количество скриптов и фреймов.
Как видит страницу поисковый робот
Робот сначала загружает HTML-код и только потом (иногда с опозданием) выполняет JavaScript. Поэтому всё, что появляется на странице только после скриптов, при первом проходе может быть невидимым. Если в симуляторе текста намного меньше, чем в браузере, содержимое формируется JavaScript-ом, и лучше отдавать его сразу в HTML (серверный рендеринг).
Для чего это нужно
Чем это отличается от Googlebot Checker
Симулятор показывает содержимое страницы: что именно читает робот. Googlebot Checker отвечает на другой вопрос: пускают ли бота на страницу (robots.txt, код ответа, блокировка) и получает ли он то же, что и браузер. Вместе они дают полную картину. Для массовой проверки адресов используйте проверку индексации.
Ограничения проверки
Мы не выполняем JavaScript, не загружаем картинки и стили и анализируем только одну страницу. Скрытые стилями элементы мы отличить от видимых не можем, а настоящий Googlebot определяют по IP, поэтому защиты от ботов (WAF) могут ответить нам иначе, чем Google. Это приближённая модель, а не точная копия работы поисковика.
Что ещё умеет StayIndexed
Эта страница — бесплатный инструмент сервиса StayIndexed. В кабинете можно сохранить список адресов, проверять их одним кликом и видеть, когда в них изменились title, H1, canonical или noindex (это тоже бесплатно), а основное дело сервиса — следить, как ваши страницы чувствуют себя в Google.
Сколько это стоит
Проверка бесплатна: и на этой странице, и в кабинете. Токенами оплачиваются другие услуги: индексация, скорость и обратные ссылки — по 3 токена за проверку. При регистрации начисляется 30 токенов, без карты.
Частые вопросы
Как увидеть сайт глазами поискового робота?
Введите адрес страницы в форму выше: мы откроем её как Googlebot без выполнения JavaScript и покажем мета-теги, заголовки, текст, ссылки и картинки.
Что такое Spider Simulator?
Это инструмент, который показывает страницу так, как её читает поисковый робот: без стилей и скриптов, только код, текст, заголовки и ссылки.
Почему текста в симуляторе меньше, чем в браузере?
Скорее всего, часть содержимого появляется через JavaScript. Робот может увидеть его с опозданием или не увидеть вовсе, поэтому важный текст лучше отдавать сразу в HTML.
Видит ли Google содержимое, созданное JavaScript-ом?
Google выполняет JavaScript, но в отдельной очереди и с ограничениями, а другие поисковые системы делают это хуже. Надёжнее отдавать основное содержимое в исходном HTML.
Можно ли проверить страницу, закрытую в robots.txt?
Мы загружаем страницу независимо от robots.txt, чтобы показать её содержимое, но настоящий бот на неё бы не пошёл. Закрыт ли адрес для бота, проверьте в Googlebot Checker или Robots.txt Checker.
Сколько стоит симулятор поискового робота?
Ничего: проверка бесплатна и на этой странице, и в кабинете StayIndexed. В кабинете можно сохранить список адресов, обновлять проверку одним кликом и видеть историю изменений.