Hva er Crawl Budget?
Crawlbudsjettet er den tiden og de ressursene en søkemotor bruker på å gjennomsøke et bestemt nettsted. Det er med andre ord det maksimale antallet sider en søkemotor kan gjennomsøke på nettstedet ditt innenfor en bestemt tidsramme. Crawlbudsjettet kan variere for ulike søkemotorer (eller crawlere).
Google sier at du ikke bør bekymre deg for gjennomsøkingsbudsjettet med mindre:
- Nettstedet ditt har mer enn 1 million unike sider med innhold som endres rundt én gang i uken.
- Du har et mellomstort nettsted (rundt 10 000 sider) og endrer innholdet ofte (daglig).
- Du driver et nyhetsnettsted.
- Search Console klassifiserer de fleste nettadressene til nettstedet ditt som "Oppdaget - for øyeblikket ikke indeksert".
Hvert nettsted får et forskjellig gjennomsøkingsbudsjett basert på to hovedfaktorer:
- Krav omgjennomsøking: Defineres av antall sider, hvor ofte sidene legges ut/oppdateres og hvor populære de er.
- Grenser for gjennomsøkingshastighet: Påvirkes av serverkapasiteter, gjennomsøkingsgrensen som er angitt av nettstedseieren i Search Console, søkemotorens gjennomsøkingsgrense og automatiske justeringer av Google basert på serverens responstid.
Hvorfor er krybbebudsjettet viktig?
Crawlbudsjettet er viktig fordi det påvirker hvor mange sider Googlebot kan gjennomsøke på nettstedet ditt, og hvor ofte Googlebot kan gjennomsøke nettsidene dine på nytt for å oppdatere indeksen. Google har enorme ressurser, men kan likevel ikke gjennomsøke (og regelmessig gjennomsøke på nytt) alle sider på Internett. Derfor tildeler Google et gjennomsøkingsbudsjett til nettsteder.
For å sikre at gjennomsøkingsbudsjettet ikke sløses bort på uviktige sider, bør du fokusere på å optimalisere nettstedets gjennomsøkingseffektivitet.
Hvordan øke gjennomsøkingsbudsjettet?
1. Få fart på serveren og reduser lastetiden for sider
Serverens responstid og sideinnlastingshastighet påvirker gjennomsøkingen direkte. Når Googlebot gjennomsøker nettstedet ditt, laster den ned ressurser først og behandler dem deretter. Hvis serveren din svarer raskt, kan Googlebot gjennomsøke flere sider på nettstedet ditt.
- Bruk et raskt og pålitelig webhotell og Content Delivery Network (CDN) for å forbedre serverens opprinnelige responstid.
- Reduser innlastingstiden for sider ved å forhindre gjennomsøking av store, men ikke-kritiske ressurser ved hjelp av robots.txt, unngå lange omdirigeringskjeder og fjerne tunge og dårlig kodede temaer og programtillegg.
2. Legg til flere lenker
Antall lenker til en side indikerer hvor viktig den er for Google. Googlebot prioriterer å gjennomsøke sider med flere tilbakekoblinger og interne lenker. Øk gjennomsøkingsbudsjettet ved å legge til flere eksterne og interne lenker på sidene dine.
- For å få forslag til interne lenker kan du revidere nettstedet ditt med verktøy som Ranktracker's Site Audit.
3. Fiks ødelagte lenker og reduser antall viderekoblinger
For mange ødelagte interne lenker (404- eller 410-svarkoder) og viderekoblede nettadresser (3xx) kan sløse med nettstedets gjennomsøkingsbudsjett. Fiks ødelagte lenker og unødvendige viderekoblinger for å optimalisere gjennomsøkingsbudsjettet.
- Bruk verktøy som Ranktracker's Site Audit for å finne ødelagte og omdirigerende nettadresser på nettstedet ditt.
4. Bruk indekserings-API-et hvis mulig
Med indekserings-API-et kan du varsle Google direkte når du legger til, fjerner eller oppdaterer sider på nettstedet ditt. Dette bidrar til at sidene dine gjennomsøkes raskere.
- Merk: Indekserings-API-et er for øyeblikket tilgjengelig for spesifikke bruksområder, for eksempel direktevideoer og stillingsannonser.
Vanlige spørsmål
Respekterer Googlebot gjennomsøkingsforsinkelsen i Robots.txt?
Nei, Googlebot respekterer ikke innstillingene for gjennomsøkingsforsinkelse som er brukt i en robots.txt-fil.
Når bør du bry deg om krybbebudsjettet?
Du bør bry deg om gjennomsøkingsbudsjettet hvis du driver et veldig stort nettsted (mer enn 1 million sider) eller et mellomstort nettsted med svært hyppige (daglige) endringer i innholdet. De fleste nettsteder trenger ikke å bekymre seg for gjennomsøkingsbudsjettet.
Hvordan kan jeg sjekke gjennomsøkingsbudsjettet for nettstedet mitt?
Du finner ikke det nøyaktige tallet for gjennomsøkingsbudsjettet noe sted. Du kan imidlertid sjekke oversikten over Googles gjennomsøkingsaktivitet i Crawl Stats-rapporten i Google Search Console.
Hvis du vil ha mer innsikt i hvordan du kan forbedre nettstedets SEO og gjennomsøkingseffektivitet, kan du besøke Ranktracker-bloggen og utforske vår omfattende SEO-guide. I tillegg kan du gjøre deg kjent med viktige SEO-termer og -begreper i vår SEO-ordliste.
