Vad är en Crawler?
En crawler är ett internetprogram som är utformat för att systematiskt söka igenom internet. Crawlers används oftast som ett sätt för sökmotorer att upptäcka och bearbeta sidor för att indexera och visa dem i sökresultaten.
Förutom crawlers som bearbetar HTML används även vissa speciella crawlers för att indexera bilder och videor.
I den verkliga världen är de viktigaste webbsökarna de som används av världens främsta sökmotorer: Googlebot, Bingbot, Yandex Bot och Baidu Spider.
Bra vs. dåliga sökrobotar
Tänk på en bra crawler som en bot som kan hjälpa din webbplats, främst genom att lägga till ditt innehåll i ett sökindex eller genom att hjälpa dig att granska din webbplats. Andra kännetecken för en bra crawler är att den identifierar sig själv, följer dina direktiv och justerar sin crawlinghastighet för att inte överbelasta din server.
En dålig crawler är en bot som inte tillför något värde för en webbplatsägare och som kan ha onda avsikter. Dåliga crawlers kan misslyckas med att identifiera sig, kringgå dina direktiv, skapa onödiga belastningar på servrar och till och med stjäla innehåll och data.
Typer av sökrobotar
Det finns två huvudtyper av sökrobotar:
- Botar med konstant genomsökning: Dessa utför en genomsökning 24/7 för att upptäcka nya sidor och återanvända äldre (t.ex. Googlebot).
- Botar påbegäran: Dessa genomsöker ett begränsat antal sidor och utför en genomsökning endast på begäran (t.ex. Ranktracker Site Audit bot).
Varför är webbplatskryptering viktigt?
Det primära syftet med en sökmotors crawler är att ta reda på vad som finns på din webbplats och lägga till denna information i sökindexet. Om din webbplats inte genomsöks kommer ditt innehåll inte att visas i sökresultaten.
Webbplatsgenomgång är inte bara en engångsföreteelse - det är en pågående praxis för aktiva webbplatser. Bots genomsöker regelbundet webbplatser för att hitta och lägga till nya sidor i sökindexet samtidigt som de uppdaterar sin information om befintliga sidor.
Även om de flesta crawlers är associerade med sökmotorer finns det andra typer av crawlers där ute. Till exempel kan Ranktracker Site Audit bot hjälpa dig att se vad som är fel med din webbplats när det gäller SEO.
Hur fungerar sökrobotar?
I ett nötskal kommer en webbcrawler som Googlebot att upptäcka webbadresser på din webbplats genom sitemaps, länkar och manuella inlämningar via Google Search Console. Sedan följer den de "tillåtna" länkarna på dessa sidor.
Detta görs samtidigt som reglerna i robots.txt respekteras, liksom eventuella "nofollow"-attribut på länkar och enskilda sidor.
Vissa webbplatser - de med mer än 1 miljon sidor som uppdateras regelbundet eller de med 10 tusen sidor med innehåll som ändras dagligen - kan ha en begränsad "crawlbudget". Detta avser den tid och de resurser som roboten kan ägna åt en webbplats under en enda session.
Prioriteringar för genomsökning
På grund av den begränsade kapaciteten hos genomsökningsbudgetar arbetar crawlers med en uppsättning genomsökningsprioriteringar. Googlebot tar till exempel hänsyn till följande:
- PageRank för webbadressen
- Hur ofta sidan/sidorna uppdateras
- Om sidan är ny eller inte
På så sätt kan sökrobotarna fokusera på att genomsöka de viktigaste sidorna på din webbplats först.
Versioner av sökrobotar för mobiler och datorer
Googlebot har två huvudversioner: Googlebot Desktop och Googlebot Smartphone. Numera använder Google mobile-first indexering, vilket innebär att dess smartphone-agent är den primära Googlebot som används för att genomsöka och indexera sidor.
Olika versioner av en webbplats kan presenteras för dessa olika typer av crawlers. Tekniskt sett identifierar sig boten för en webbserver med hjälp av HTTP-begärans rubrik User-Agent, tillsammans med en unik identifierare.
Bästa praxis för en krypvänlig webbplats
För att säkerställa att din webbplats är redo för crawling finns det flera steg som vi rekommenderar. Följ dem för att ge dina nyckelsidor bästa möjliga chans att indexeras och rankas.
1. Kontrollera din Robots.txt-fil
Filen robots.txt är den fil på din webbplats som kommunicerar med dessa robotar med hjälp av en serie sökrobotdirektiv. Se till att den inte hindrar bra robotar från att komma åt sidor eller avsnitt som du vill ska indexeras. Använd verktyg som Googles robots.txt-testare för att kontrollera om det finns fel.
2. Skicka in webbplatskartor
Att skicka in din webbplatskarta är ett viktigt steg. En webbplatskarta listar alla sidor på din webbplats som du vill ska indexeras. I Google Search Console kan du skicka in din webbplatskarta under Index > Webbplatskartor. Den här processen är liknande för andra sökmotorer, som Bing Webmaster Tools.
3. Använd sökrobotdirektiv på ett klokt sätt
I filen robots.txt används direktiv för att tala om för sökrobotar vilka sidor som får eller inte får genomsökas. Det är viktigt att tillåta att viktiga sidor i webbplatsens navigering genomsöks. Eventuella direktiv på sidnivå kommer inte att ses om innehållet inte tillåts genomsökas i din robots.txt-fil.
4. Tillhandahåll interna länkar mellan sidor
Interna länkar hjälper sökmotorer att förstå vad varje sida handlar om och hjälper sökroboten att upptäcka sidor i första hand. Interna länkar hjälper dig också att forma hur PageRank flödar genom din webbplats.
5. Minska antalet 4xx:er och onödiga omdirigeringar
4xx-fel signalerar till en crawler att innehållet på den webbadressen inte finns. Använd verktyg som Ranktracker Site Audit för att åtgärda dessa sidor eller skapa en omdirigering till en levande sida. Eliminera också onödiga omdirigeringar och omdirigeringskedjor för att säkerställa smidig crawling.
6. Använd Ranktracker Site Audit för att hitta problem med genomsökbarhet och indexering
Verktyget Ranktracker Site Audit kan hjälpa till genom att kontrollera alla icke-indexerade sidor och icke-följda länkar på din webbplats. Det kan avslöja eventuella trasiga sidor eller överdrivna omdirigeringar, inklusive omdirigeringskedjor eller slingor, och peka ut eventuella föräldralösa sidor.
Vanliga frågor
Är Crawling och Indexering samma sak?
Crawling innebär att man letar upp webbsidor och annat innehåll som är tillgängligt för allmänheten. Indexering innebär att sökmotorer analyserar dessa sidor och lagrar dem i sitt sökindex.
Vilka är de mest aktiva sökrobotarna?
De mest populära sökmotorcrawlers inkluderar Googlebot, Bingbot, Yandex Bot och Baidu Spider. För mer information, kolla in denna Imperva Bot Traffic-studie. Intressant nog visade det sig att AhrefsBot, som driver hela länkdatabasen, var den näst mest aktiva crawlern efter Googlebot.
Skadar sökrobotar min webbplats?
Även om de flesta crawlers inte skadar din webbplats finns det dåliga crawlers som kan göra det. Skadliga crawlers kan ta upp din bandbredd, vilket gör att sidorna blir långsammare, och kan försöka stjäla data eller skrapa innehåll från din webbplats.
