Czym jest Googlebot?
Googlebot to nazwa nadana robotom indeksującym Google, które zbierają informacje dla różnych usług Google, w tym indeksu wyszukiwania.
Posiada dwie główne wersje: Googlebot Desktop i Googlebot Smartphone. Wraz z indeksowaniem mobile-first, Googlebot Smartphone stał się głównym crawlerem zasilającym indeks wyszukiwania Google.
Jak więc działa Googlebot?
Googlebot nieustannie przeszukuje sieć w celu odkrycia nowych stron, wysyła je do przetworzenia w celu dodania ich do indeksu wyszukiwania i ponownie przeszukuje strony w poszukiwaniu nowych/zaktualizowanych informacji.
Podczas tego procesu Googlebot ściśle przestrzega zasad zawartych w plikach robots.txt i dyrektywach dla robotów indeksujących na stronach i linkach.
Dlaczego Googlebot jest ważny?
Googlebot jest jednym z głównych narzędzi napędzających całą wyszukiwarkę Google. Bez niego całe wyszukiwanie (a tym samym SEO) nie istniałoby. Gdyby Googlebot nie indeksował strony, nie byłaby ona indeksowana i widoczna w wynikach wyszukiwania.
Dlatego też specjaliści SEO i webmasterzy muszą zrozumieć, jak działa Googlebot. Poza tym ważne jest, aby upewnić się, że robot indeksujący uzyskuje prawidłowy dostęp do witryny bez żadnych problemów z indeksowaniem lub wykrywalnością.
Najlepsze praktyki dla strony przyjaznej dla indeksowania
Jeśli chcesz, aby Googlebot prawidłowo indeksował Twoją witrynę i indeksował strony, musisz upewnić się, że pewne rzeczy są na swoim miejscu. Ponieważ nie jest to jednorazowe wydarzenie, poniżej znajdują się niektóre z najlepszych praktyk, których należy regularnie przestrzegać, aby utrzymać witrynę przyjazną dla indeksowania.
1. Sprawdź plik robots.txt
Plik robots.txt na stronie internetowej pozwala kontrolować, co jest indeksowane. Komunikuje się on z botami za pomocą dyrektyw crawlera.
Należy upewnić się, że plik robots.txt nie uniemożliwia Googlebotowi indeksowania stron/sekcji witryny, które mają być indeksowane.
Następnie poszukaj błędów w pliku za pomocą narzędzi do testowania pliku robots.txt.
Należy upewnić się, że plik robots.txt jest dostępny dla Googlebota, tj. nie jest zablokowany na poziomie serwera.
2. Prześlij mapy witryn
Przesyłanie map witryn to najprostszy sposób na poinformowanie Google, które strony mają być indeksowane.
Tworzenie map witryn nie jest trudne, jeśli używasz dowolnej popularnej wtyczki SEO na WordPress, takiej jak Yoast lub Rank Math. Automatycznie utworzą one dla Ciebie mapy witryn, które możesz przesłać.
Wygenerowany adres URL będzie wyglądał następująco: yourdomainname.com/sitemap_index.html
Aby ręcznie przesłać adres URL mapy witryny, należy odwiedzić Google Search Console i kliknąć "Mapy witryn" w sekcji "Indeks" w menu głównym.
3. Mądre korzystanie z dyrektyw Crawlera
Oprócz pliku robots.txt istnieją dyrektywy na poziomie strony, które powiadamiają roboty indeksujące, które strony mogą (lub nie) być indeksowane.
Dlatego należy upewnić się, że strony, które mają być indeksowane, nie mają dyrektywy "noindex". Podobnie, upewnij się, że nie mają dyrektywy "nofollow", jeśli chcesz, aby ich linki wychodzące również były indeksowane.
Możesz użyć SEO Toolbar dla Chrome i Firefox, aby sprawdzić dyrektywy na swoich stronach.
4. Zapewnienie linków wewnętrznych między stronami
Innym prostym sposobem na szybsze indeksowanie strony jest umieszczenie linku do innej strony, która jest już zaindeksowana. Ponieważ Googlebot ponownie indeksuje strony, znajdzie link wewnętrzny i szybko go zaindeksuje.
Oprócz indeksowania, linkowanie wewnętrzne przekazuje tak zwany "link juice" do stron, zwiększając ich PageRank.
5. Użyj audytu witryny, aby znaleźć problemy z indeksowalnością i indeksowalnością
Wreszcie, można użyć narzędzi do audytu witryn, aby znaleźć kwestie związane z indeksowalnością i indeksowalnością witryn.
Audyt witryny może pomóc w znalezieniu uszkodzonych stron, nadmiernych przekierowań, łańcuchów przekierowań, stron noindex, linków nofollow, stron osieroconych (tych bez linków wewnętrznych) i nie tylko.
Możesz monitorować kondycję SEO swojej witryny za darmo za pomocą narzędzi takich jak Ranktracker's Web Audit.
Najczęściej zadawane pytania
Czy crawling i indeksowanie to to samo?
Nie, te dwa pojęcia nie są tożsame. Indeksowanie oznacza odkrywanie stron i linków w sieci. Indeksowanie odnosi się do przechowywania, analizowania i organizowania treści i połączeń między stronami, które zostały znalezione podczas indeksowania.
Dopiero po zindeksowaniu strony jest ona dostępna do wyświetlenia jako wynik dla odpowiednich zapytań.
Czy mogę sprawdzić, czy robot indeksujący uzyskujący dostęp do mojej witryny jest rzeczywiście Googlebotem?
Jeśli obawiasz się, że spamerzy lub inni wichrzyciele mogą uzyskiwać dostęp do Twojej witryny, twierdząc, że są Googlebotami, możesz zweryfikować crawlera, aby sprawdzić, czy jest to rzeczywiście crawler Google.
Jaki jest główny crawler dla Googlebota?
Googlebot Smartphone jest obecnie głównym crawlerem.
Token agenta użytkownika: Googlebot
Pełny ciąg agenta użytkownika: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, jak Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatybilny; Googlebot/2.1; +http://www.google.com/bot.html)
Pełną listę robotów indeksujących Googlebot można znaleź ć tutaj.
