Googlebot

Що таке Googlebot?

Googlebot - це назва веб-роботів Google, які збирають інформацію для різних сервісів Google, в тому числі для пошукового індексу.

Він має дві основні версії: Googlebot Desktop і Googlebot Smartphone. Завдяки індексації в першу чергу для мобільних пристроїв, Googlebot Smartphone став основним пошуковим роботом, що формує пошуковий індекс Google.

Отже, як працює Googlebot?

Googlebot постійно сканує Інтернет для виявлення нових сторінок, відправляє сторінки на обробку, щоб додати їх до пошукового індексу, і повторно сканує сторінки для пошуку нової/оновленої інформації.

Під час цього процесу Googlebot суворо дотримується правил у файлах robots.txt і директив для пошукових роботів на сторінках і посиланнях.

Чому Googlebot важливий?

Googlebot - це один з головних інструментів, який забезпечує роботу всієї пошукової системи Google. Без нього весь пошук (а отже, і SEO) не існував би. Якби Googlebot не сканував веб-сайт, він не був би проіндексований і не з'явився б у результатах пошуку.

Таким чином, SEO-фахівці та веб-майстри повинні розуміти, як працює Googlebot. Крім того, важливо забезпечити належний доступ робота до сайту без будь-яких проблем з скануванням або виявленням.

Найкращі практики для дружнього до сканування сайту

Якщо ви хочете, щоб Googlebot правильно сканував ваш сайт та індексував сторінки, ви повинні переконатися, що певні речі на місці. Оскільки це не одноразовий захід, нижче наведені деякі з найкращих практик, яких слід дотримуватися регулярно, щоб підтримувати веб-сайт, зручний для сканування.

1. Перевірте файл Robots.txt

Файл Robots.txt на сайті дозволяє вам контролювати, що саме сканується. Він спілкується з ботами за допомогою директив сканування.

Вам потрібно переконатися, що ваш файл robots.txt не забороняє Googlebot сканувати сторінки/розділи вашого сайту, які ви хочете проіндексувати.

Далі перевірте файл на наявність помилок за допомогою інструментів тестування robots.txt.

Ви повинні переконатися, що файл robots.txt доступний для Googlebot, тобто не заблокований на рівні сервера.

2. Надішліть карту сайту

Надсилання карт сайту - це найпростіший спосіб повідомити Google, які сторінки ви хочете, щоб були проскановані та проіндексовані.

Створення карт сайту не є складним, якщо ви використовуєте будь-який популярний SEO-плагін для WordPress, наприклад, Yoast або Rank Math. Вони автоматично створять для вас карти сайту, які ви зможете відправити.

Згенерована URL-адреса матиме такий вигляд: yourdomainname.com/sitemap_index.html

Щоб додати URL-адресу карти сайту вручну, потрібно зайти в Пошукову консоль Google і натиснути на "Карти сайту" в розділі "Індекс" головного меню.

3. Розумно використовуйте директиви повзунка

Окрім файлу robots.txt, існують директиви на рівні сторінок, які повідомляють роботам, які сторінки дозволено (або заборонено) сканувати.

Таким чином, вам потрібно переконатися, що сторінки, які ви хочете проіндексувати, не мають директиви "noindex". Аналогічно, переконайтеся, що вони не мають директиви "nofollow", якщо ви хочете, щоб їхні вихідні посилання також були проскановані.

Ви можете використовувати SEO Toolbar для Chrome і Firefox, щоб перевірити директиви на ваших сторінках.

4. Створіть внутрішні посилання між сторінками

Ще один простий спосіб допомогти сторінці швидше проіндексуватися - це зробити посилання на іншу сторінку, яка вже проіндексована. Оскільки Googlebot повторно сканує сторінки, він знайде внутрішнє посилання і швидко просканує його.

Окрім сканування, внутрішня перелінковка передає так званий "посилальний сік" на сторінки, підвищуючи їхній PageRank.

5. Використовуйте аудит сайту для виявлення проблем з індексацією та пошуковою оптимізацією

Нарешті, ви можете використовувати інструменти аудиту сайтів, щоб знайти проблеми, пов'язані з індексацією та доступністю для сканування на ваших сайтах.

Аудит сайту допоможе вам знайти биті сторінки, надмірні перенаправлення, ланцюжки перенаправлень, неіндексовані сторінки, посилання nofollow, сторінки-сироти (ті, що не мають внутрішніх посилань) та багато іншого.

Ви можете безкоштовно відстежувати стан SEO вашого сайту за допомогою таких інструментів, як веб-аудит від Ranktracker.

Поширені запитання

Чи є сканування та індексація одним і тим же?

Ні, це не одне й те саме. Сканування означає виявлення сторінок і посилань в Інтернеті. Індексування - це зберігання, аналіз та організація вмісту і зв'язків між сторінками, які були знайдені під час сканування.

Тільки після того, як сторінка проіндексована, вона стає доступною для відображення в результатах видачі за відповідними запитами.

Чи можу я перевірити, чи дійсно веб-сканер, який отримав доступ до мого сайту, є Google-ботом?

Якщо ви стурбовані тим, що спамери або інші зловмисники можуть отримати доступ до вашого веб-сайту під виглядом Google-ботів, ви можете перевірити ска нера, щоб дізнатися, чи є він насправді сканером Google.

Який основний робот для Googlebot?

Googlebot для смартфонів є основним пошуковим роботом на сьогоднішній день.

Токен агента користувача: Googlebot

Повний рядок агентів користувача: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, як Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (сумісний; Googlebot/2.1; +http://www.google.com/bot.html)

Повний список пошукових роботів Googlebot можна знайти тут.