Hvad er Googlebot?
Googlebot er navnet på Googles webcrawlere, der indsamler oplysninger til forskellige Google-tjenester, herunder deres søgeindeks.
Den har to hovedversioner: Googlebot Desktop og Googlebot Smartphone. Med mobil-første indeksering blev Googlebot Smartphone den primære crawler, der driver Googles søgeindeks.
Så hvordan fungerer Googlebot?
Googlebot gennemsøger konstant nettet for at finde nye sider, sender siderne til behandling for at tilføje dem til søgeindekset og gennemsøger siderne igen for at lede efter nye/opdaterede oplysninger.
Under denne proces følger Googlebot nøje reglerne i robots.txt-filer og direktiver for crawlere på sider og links.
Hvorfor er Googlebot vigtig?
Googlebot er et af de vigtigste værktøjer, der driver hele Googles søgemaskine. Uden den ville hele søgningen (og dermed SEO) ikke eksistere. Hvis Googlebot ikke crawlede et website, ville det ikke blive indekseret og være synligt i resultaterne.
Derfor er SEO-professionelle og webmastere nødt til at forstå, hvordan Googlebot fungerer. Desuden er det vigtigt at sikre, at crawleren får korrekt adgang til webstedet uden problemer med crawlbarhed eller findbarhed.
Bedste praksis for en crawl-venlig hjemmeside
Hvis du vil have Googlebot til at crawle dit website korrekt og få siderne indekseret, skal du sørge for, at visse ting er på plads. Da det ikke er en engangsforeteelse, er der nedenfor nogle af de bedste fremgangsmåder, der skal følges regelmæssigt for at opretholde et crawl-venligt website.
1. Tjek din Robots.txt-fil
Robots.txt-filen på hjemmesiden giver dig mulighed for at kontrollere, hvad der bliver crawlet. Den kommunikerer med bots ved hjælp af crawler-direktiver.
Du skal sikre dig, at din robots.txt-fil ikke forhindrer Googlebot i at gennemgå de sider/sektioner af dit website, som du ønsker at indeksere.
Se derefter efter eventuelle fejl i filen ved hjælp af robots.txt-testværktøjer.
Du skal sikre dig, at robots.txt er tilgængelig for Googlebot, dvs. at den ikke er blokeret på serverniveau.
2. Indsend dine sitemaps
At indsende sitemaps er den enkleste måde at lade Google vide, hvilke sider du vil have crawlet og indekseret.
Det er ikke svært at lave sitemaps, hvis du bruger et populært SEO-plugin til WordPress, f.eks. Yoast eller Rank Math. De opretter automatisk sitemaps for dig, som du kan indsende.
Den genererede URL vil se sådan ud: ditdomænenavn.com/sitemap_index.html
Hvis du vil indsende en sitemap-URL manuelt, skal du besøge Google Search Console og klikke på "Sitemaps" under afsnittet "Index" i hovedmenuen.
3. Brug crawler-direktiver med omtanke
Ud over robots.txt-filen er der direktiver på sideniveau, som giver crawlere besked om, hvilke sider der må (eller ikke må) crawles.
Derfor skal du sikre dig, at de sider, du vil have indekseret, ikke har et "noindex"-direktiv. På samme måde skal du sørge for, at de ikke har et "nofollow"-direktiv, hvis du ønsker, at deres udgående links også skal crawles.
Du kan bruge SEO Toolbar til Chrome og Firefox til at tjekke direktiverne på dine sider.
4. Sørg for interne links mellem siderne
En anden enkel måde at hjælpe en side med at blive indekseret hurtigere er ved at linke den til en anden side, der allerede er indekseret. Da Googlebot gennemsøger sider igen, vil den finde det interne link og gennemsøge det hurtigt.
Bortset fra crawling giver interne links den såkaldte "linkjuice" til siderne, hvilket øger deres PageRank.
5. Brug Site Audit til at finde problemer med crawlbarhed og indeksering
Endelig kan du bruge Site Audit-værktøjer til at finde problemer i forbindelse med indeksering og crawlbarhed på dine websites.
Site Audit kan hjælpe dig med at finde ødelagte sider, for mange redirects, redirect-kæder, noindex-sider, nofollow-links, forældreløse sider (dem uden interne links) og meget mere.
Du kan overvåge din hjemmesides SEO-sundhed gratis med værktøjer som Ranktracker's Web Audit.
Ofte stillede spørgsmål
Er crawling og indeksering det samme?
Nej, de to ting er ikke det samme. Crawling betyder, at man finder sider og links på nettet. Indeksering refererer til lagring, analyse og organisering af indhold og forbindelser mellem sider, der blev fundet under crawling.
Det er først, når en side er indekseret, at den kan vises som et resultat af relevante forespørgsler.
Kan jeg kontrollere, om en webcrawler, der tilgår min hjemmeside, virkelig er Googlebot?
Hvis du er bekymret for, at spammere eller andre ballademagere går ind på dit website og udgiver sig for at være Googlebots, kan du verificere crawleren for at se, om det rent faktisk er en Google-crawler.
Hvad er den vigtigste crawler for Googlebot?
Googlebot Smartphone er den primære crawler i dag.
Brugeragent-token: Googlebot
Fuld brugeragentstreng: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, som Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)
Den fulde liste over Googlebot-crawlere kan findes her.
