Що перевіряє Googlebot Checker
- robots.txt — чи дозволяє файл Googlebot сканувати саме цю сторінку, і яке правило спрацювало.
- Відповідь сервера — код, редиректи й час відповіді для Googlebot для смартфонів або для комп’ютерів.
- Індексація — noindex і nofollow у meta robots та X-Robots-Tag, canonical, title, description і H1.
- Порівняння з браузером — чи не блокує сайт бота й чи не віддає йому інший вміст.
- Справжність IP — чи належить адреса з логів Google, чи це підробка під Googlebot.
Чому Googlebot не може просканувати сторінку
Які бувають Googlebot
Googlebot для смартфонів сканує більшість сайтів першим, бо Google індексує мобільну версію. Googlebot для комп’ютерів, Googlebot Image, Video і News мають свої User-Agent. Окремі роботи, як-от AdsBot чи Google-InspectionTool, теж підписуються ім’ям Google. Усі вони не однакові за правилами robots.txt, а тому важливо знати, який саме бот прийшов на сайт. Розібрати будь-який рядок User-Agent допоможе розбір User-Agent.
Як перевірити, що це справжній Googlebot
User-Agent легко підробити, тому за ним бота не впізнають. Google радить дві перевірки. Перша: зробити зворотний DNS-запит за IP, переконатися, що ім’я закінчується на googlebot.com або google.com, а потім прямим запитом цього імені отримати ту саму адресу. Друга: звірити IP із файлами діапазонів, які Google публікує у форматі JSON. Наш інструмент робить обидві перевірки. Підробні боти під Googlebot зазвичай скрейпери, і їх безпечно блокувати.
Обмеження перевірки
Ми лише підставляємо User-Agent Googlebot зі свого сервера, тому сайти, що пускають бота за IP-адресою, можуть відповісти нам інакше, ніж справжньому Googlebot. Ми не виконуємо JavaScript, а читаємо HTML відповіді: сторінки, що збирають вміст у браузері, Googlebot відрендерить сам. Заголовки відповіді докладно покаже HTTP Headers Checker, а чи є сторінка в Google, перевірить перевірка індексації сторінки.
Що ще вміє StayIndexed
Ця сторінка — безкоштовний інструмент від сервісу StayIndexed. У кабінеті можна зберегти список адрес, оновлювати перевірку одним кліком і бачити, коли змінилося те, що бачить Googlebot (це теж безкоштовно), а основна справа сервісу — стежити, як ваші сторінки почуваються в Google.
Скільки це коштує
Перевірка безкоштовна: і на цій сторінці, і в кабінеті. Токенами оплачуються інші послуги: індексація, швидкість і беклінки — по 3 токени за перевірку. При реєстрації нараховується 30 токенів, без картки.
Поширені запитання
Що таке Googlebot?
Це пошуковий робот Google, який відвідує сторінки, завантажує їхній вміст і передає його в індекс. Його роботу визначають robots.txt, заголовки відповіді та директиви на сторінці.
Як перевірити, чи сторінку бачить Googlebot?
Введіть адресу у форму вище: ми відкриємо її як Googlebot, перевіримо robots.txt, відповідь сервера, noindex і canonical. Найточніше покаже перевірка URL в Google Search Console, але вона працює лише для вашого сайту.
Як дізнатися, що відвідувач у логах справжній Googlebot?
Перевірте його IP: зворотний DNS має вести на googlebot.com або google.com, а прямий запит цього імені має повернути ту саму адресу. Або звірте адресу з діапазонами, які Google публікує у форматі JSON. Обидві перевірки робить блок вище.
Чому Googlebot отримує помилку, а браузер ні?
Найчастіше сайт або його захист (Cloudflare, WAF, плагін безпеки) блокує ботів за User-Agent чи за швидкістю запитів. Дозвольте справжні IP-адреси Googlebot, а не лише User-Agent.
Чи достатньо перевіряти User-Agent?
Ні. Рядок User-Agent може вказати будь-хто, і скрейпери часто видають себе за Googlebot. Надійно впізнати бота можна лише за IP-адресою.
Скільки коштує Googlebot Checker?
Нічого: перевірка безкоштовна і на цій сторінці, і в кабінеті StayIndexed. У кабінеті можна зберегти список адрес, оновлювати перевірку одним кліком і бачити історію змін.