Vad är Googlebot?
Googlebot är namnet på Googles web crawlers som samlar in information för olika Google-tjänster, inklusive deras sökindex.
Den har två huvudversioner: Googlebot Desktop och Googlebot Smartphone. Med mobil-först-indexeringen blev Googlebot Smartphone den primära sökroboten som driver Googles sökindex.
Så, hur fungerar Googlebot?
Googlebot söker ständigt igenom webben för att upptäcka nya sidor, skickar sidorna för bearbetning för att lägga till dem i sökindexet och söker igenom sidorna igen för att leta efter ny/uppdaterad information.
Under denna process följer Googlebot strikt reglerna i robots.txt-filer och direktiv för sökrobotar på sidor och länkar.
Varför är Googlebot viktigt?
Googlebot är ett av de viktigaste verktygen som driver hela Googles sökmotor. Utan den skulle hela sökningen (och därmed SEO) inte existera. Om Googlebot inte genomsökte en webbplats skulle den inte indexeras och synas i resultaten.
Därför måste SEO-proffs och webbansvariga förstå hur Googlebot fungerar. Dessutom är det viktigt att se till att sökroboten kommer åt webbplatsen på rätt sätt utan några problem med genomsökning eller upptäckbarhet.
Bästa praxis för en krypvänlig webbplats
Om du vill att Googlebot ska genomsöka din webbplats på rätt sätt och få sidorna indexerade måste du se till att vissa saker är på plats. Eftersom det inte är en engångsföreteelse, nedan är några av de bästa metoderna att följa regelbundet för att upprätthålla en genomsökningsvänlig webbplats.
1. Kontrollera din Robots.txt-fil
Med filen Robots.txt på webbplatsen kan du styra vad som ska genomsökas. Den kommunicerar med robotar med hjälp av crawler-direktiv.
Du måste se till att din robots.txt-fil inte hindrar Googlebot från att genomsöka de sidor/avsnitt på din webbplats som du vill ska indexeras.
Leta sedan efter eventuella fel i filen med hjälp av testverktyg för robots.txt.
Du bör se till att robots.txt är tillgänglig för Googlebot, dvs. att den inte är blockerad på servernivå.
2. Skicka in webbplatskartorna
Att skicka in sitemaps är det enklaste sättet att låta Google veta vilka sidor du vill ska genomsökas och indexeras.
Det är inte svårt att skapa sitemaps om du använder något populärt SEO-plugin för WordPress, t.ex. Yoast eller Rank Math. De skapar automatiskt sitemaps åt dig som du sedan kan skicka in.
Den genererade webbadressen kommer att se ut så här: dittdomännamn.com/sitemap_index.html
Om du vill skicka in en URL för webbplatskartor manuellt måste du besöka Google Search Console och klicka på "Sitemaps" under avsnittet "Index" i huvudmenyn.
3. Använd sökrobotdirektiv på ett klokt sätt
Förutom robots.txt-filen finns det direktiv på sidnivå som meddelar crawlers vilka sidor som får (eller inte får) genomsökas.
Därför måste du se till att de sidor som du vill ska indexeras inte har ett "noindex"-direktiv. På samma sätt måste du se till att de inte har ett "nofollow"-direktiv om du vill att deras utgående länkar också ska genomsökas.
Du kan använda SEO Toolbar för Chrome och Firefox för att kontrollera direktiven på dina sidor.
4. Tillhandahåll interna länkar mellan sidor
Ett annat enkelt sätt att hjälpa en sida att bli indexerad snabbare är att länka den till en annan sida som redan är indexerad. Eftersom Googlebot genomsöker sidor på nytt kommer den att hitta den interna länken och genomsöka den snabbt.
Förutom genomsökning överför internlänkning så kallad "länkjuice" till sidorna, vilket ökar deras PageRank.
5. Använd Site Audit för att hitta problem med genomsökbarhet och indexering
Slutligen kan du använda Site Audit-verktyg för att hitta problem relaterade till indexerbarhet och genomsökbarhet på dina webbplatser.
Site Audit kan hjälpa dig att hitta trasiga sidor, överdrivna omdirigeringar, omdirigeringskedjor, noindex-sidor, nofollow-länkar, orphan-sidor (sidor utan interna länkar) med mera.
Du kan övervaka din webbplats SEO-hälsa gratis med verktyg som Ranktracker's Web Audit.
Vanliga frågor
Är crawling och indexering samma sak?
Nej, de två är inte samma sak. Crawling innebär att upptäcka sidor och länkar på webben. Indexering innebär att man lagrar, analyserar och organiserar innehållet och kopplingarna mellan de sidor som hittades vid genomsökningen.
Det är först när en sida har indexerats som den kan visas som ett resultat för relevanta sökningar.
Kan jag verifiera om en webbsökare som besöker min webbplats verkligen är Googlebot?
Om du är orolig för att spammare eller andra bråkmakare går in på din webbplats och påstår sig vara Googlebots kan du verifiera sökroboten för att se om det verkligen är en Google-crawler.
Vad är den huvudsakliga sökroboten för Googlebot?
Googlebot Smartphone är den primära sökroboten idag.
Token för användaragent: Googlebot
Fullständig användaragentsträng: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, som Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)
Den fullständiga listan över Googlebots sökrobotar finns här.
