Was ist Crawl Budget?
Das Crawl-Budget ist die Menge an Zeit und Ressourcen, die eine Suchmaschine für das Crawlen einer bestimmten Website bereitstellt. Mit anderen Worten, es ist die maximale Anzahl von Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitrahmens auf Ihrer Website crawlen kann. Das Crawl-Budget kann für verschiedene Suchmaschinen (oder Crawler) unterschiedlich sein.
Google gibt an, dass Sie sich keine Gedanken über das Crawl-Budget machen sollten, es sei denn, Sie wollen es nicht:
- Ihre Website hat mehr als 1 Million eindeutige Seiten mit Inhalten, die sich etwa einmal pro Woche ändern.
- Sie haben eine mittelgroße Website (etwa 10.000 Seiten) und ändern den Inhalt häufig (täglich).
- Sie betreiben eine Nachrichten-Website.
- Search Console stuft die Mehrzahl der URLs Ihrer Website als "Entdeckt - derzeit nicht indiziert" ein.
Jede Website erhält ein anderes Crawl-Budget, das von zwei Hauptfaktoren abhängt:
- Crawl-Nachfrage: Definiert durch die Anzahl der Seiten, die Häufigkeit der Veröffentlichungen/Aktualisierungen und die Popularität der Seiten.
- Crawl-Rate-Limit: Beeinflusst von den Serverkapazitäten, dem vom Website-Eigentümer in Search Console festgelegten Crawl-Limit, dem Crawling-Limit der Suchmaschine und den automatischen Anpassungen von Google auf der Grundlage der Server-Antwortzeiten.
Warum ist das Crawl-Budget so wichtig?
Das Crawl-Budget ist wichtig, denn es bestimmt, wie viele Seiten Googlebot auf Ihrer Website crawlen kann und wie oft Googlebot Ihre Webseiten erneut crawlen kann, um seinen Index zu aktualisieren. Google verfügt über enorme Ressourcen, kann aber nicht alle Seiten des Internets crawlen (und regelmäßig neu crawlen). Aus diesem Grund weist Google Websites ein Crawl-Budget zu.
Um sicherzustellen, dass Ihr Crawl-Budget nicht für unwichtige Seiten verschwendet wird, sollten Sie sich auf die Optimierung der Crawl-Effizienz Ihrer Website konzentrieren.
Wie erhöht man das Crawl-Budget?
1. Beschleunigen Sie Ihren Server und verkürzen Sie die Ladezeiten von Seiten
Die Reaktionszeit des Servers und die Ladegeschwindigkeit der Seite wirken sich direkt auf das Crawling aus. Wenn Googlebot Ihre Website crawlt, lädt er zuerst Ressourcen herunter und verarbeitet sie dann. Wenn Ihr Server schnell reagiert, kann Googlebot mehr Seiten auf Ihrer Website crawlen.
- Verwenden Sie einen schnellen und zuverlässigen Webhosting-Dienst und ein Content Delivery Network (CDN), um die anfängliche Reaktionszeit des Servers zu verbessern.
- Verringern Sie die Ladezeiten von Seiten, indem Sie das Crawlen großer, aber unkritischer Ressourcen mit robots.txt verhindern, lange Weiterleitungsketten vermeiden und schwere und schlecht codierte Themes und Plugins entfernen.
2. Weitere Links hinzufügen
Die Anzahl der Links zu einer Seite zeigt ihre Bedeutung für Google an. Der Googlebot crawlt vorrangig Seiten mit mehr Backlinks und internen Links. Erhöhen Sie Ihr Crawl-Budget, indem Sie mehr externe und interne Links zu Ihren Seiten hinzufügen.
- Um Vorschläge für die interne Verlinkung zu erhalten, sollten Sie Ihre Website mit Tools wie dem Site Audit von Ranktracker überprüfen.
3. Defekte Links beheben und Umleitungen verringern
Zu viele defekte interne Links (404- oder 410-Antwortcodes) und umgeleitete URLs (3xx) können das Crawl-Budget Ihrer Website verschwenden. Beheben Sie defekte Links und unnötige Weiterleitungen, um Ihr Crawl-Budget zu optimieren.
- Verwenden Sie Tools wie das Site Audit von Ranktracker, um fehlerhafte und umleitende URLs auf Ihrer Website zu finden.
4. Verwenden Sie nach Möglichkeit die Indizierungs-API
Mit der Indexierungs-API können Sie Google direkt benachrichtigen, wenn Sie Seiten auf Ihrer Website hinzufügen, entfernen oder aktualisieren. So können Ihre Seiten schneller gecrawlt werden.
- Hinweis: Die Indexierungs-API ist derzeit nur für bestimmte Anwendungsfälle wie Live-Videos und Stellenanzeigen verfügbar.
FAQs
Respektiert Googlebot die Crawl-Verzögerung in Robots.txt?
Nein, Googlebot respektiert nicht die Einstellungen für die Crawl-Verzögerung, die in einer robots.txt-Datei vorgenommen wurden.
Wann sollten Sie sich um das Crawl-Budget kümmern?
Sie sollten sich um das Crawl-Budget kümmern, wenn Sie eine sehr große Website (mehr als 1 Million Seiten) oder eine mittelgroße Website mit sehr häufigen (täglichen) Änderungen des Inhalts betreiben. Die meisten Websites müssen sich nicht um das Crawl-Budget kümmern.
Wie kann ich das Crawl-Budget für meine Website überprüfen?
Die genaue Zahl für das Crawl-Budget finden Sie nirgends. Sie können jedoch den Überblick über die Crawl-Aktivitäten von Google im Bericht "Crawl-Statistiken" in der Google Search Console überprüfen.
Weitere Informationen zur Verbesserung der SEO und Crawl-Effizienz Ihrer Website finden Sie im Ranktracker Blog und in unserem umfassenden SEO-Leitfaden. Machen Sie sich außerdem mit den wichtigsten SEO-Begriffen und Konzepten in unserem SEO-Glossar vertraut.
