Crawlt Google Ihre Website häufig? Mögliche Probleme erklärt

Intro

Gary Illyes von Google hat davor gewarnt, dass eine plötzliche Zunahme des Crawlings von Websites auf zugrundeliegende Probleme hindeuten könnte, wie z. B. Hackerangriffe oder Probleme mit unendlich vielen Leerzeichen.

Crawling Spikes verstehen

Laut Gary Illyes, einem Analysten bei Google, ist ein plötzlicher Anstieg der Crawling-Aktivitäten auf Ihrer Website mit Vorsicht zu genießen. Auch wenn es wie ein positives Zeichen aussieht, kann es oft auf tiefere Probleme hinweisen.

rät Illyes:

"Freuen Sie sich nicht zu früh, wenn die Suchmaschinen unerwartet anfangen, wie verrückt von Ihrer Website zu krabbeln."

Es gibt zwei häufige Probleme, die man beachten sollte: unendliche Räume und Website-Hacks.

Unendliche Räume und kriechende Stacheln

Unendliche Bereiche beziehen sich auf Abschnitte einer Website, wie z. B. Kalendermodule oder endlos filterbare Produktlisten, die unbegrenzte potenzielle URLs erzeugen. Dies kann dazu führen, dass die Crawler von Suchmaschinen übermäßig aktiv werden.

erklärt Illyes:

"Wenn Ihre Website im Allgemeinen Seiten enthält, die Suchende als hilfreich empfinden, werden sich Crawler eine Zeit lang für diese unendlichen Bereiche begeistern.

Um dies zu vermeiden, empfiehlt er, die Datei robots.txt zu verwenden, um Crawlern den Zugriff auf unendliche Bereiche zu verwehren.

Gehackte Websites und Crawling-Raserei

Eine weitere besorgniserregende Ursache für vermehrtes Crawling ist eine Sicherheitslücke. Hacker könnten Spam auf einer seriösen Website einschleusen und die Crawler zunächst dazu verleiten, scheinbar neue Inhalte zu indizieren.

Illyes stellt fest:

"Wenn es einem Nichtsnutz irgendwie gelingt, Zugang zu erhalten, könnte er Ihre Website mit, nun ja, Mist überfluten... Crawler werden sich eine Zeit lang über diese neuen Seiten freuen und sie fröhlich crawlen."

Reagieren auf Crawling Spikes

Illyes schlägt vor, den unerwarteten starken Anstieg des Crawlings als Symptom für mögliche Probleme zu behandeln, bis die eigentliche Ursache gefunden ist.

"Behandeln Sie unerwartete starke Zunahmen des Kriechens als ein Symptom... bis Sie das Gegenteil beweisen können. Oder wissen Sie, vielleicht bin ich einfach nur ein knallharter Pessimist."

Umgang mit gehackten Websites

Illyes stellt einen Leitfaden für den Umgang mit gehackten Websites zur Verfügung und legt dabei Wert auf einen systematischen Wiederherstellungsprozess.

Tipps aus Googles Video zur Behebung gehackter Websites

1. Identifizieren Sie die Schwachstelle: Verwenden Sie Tools wie die Webmaster-Tools von Google, um Probleme zu erkennen.

2. Beheben Sie die Sicherheitslücke: Schließen Sie die Sicherheitslücke, indem Sie die Software aktualisieren, Passwörter ändern usw.

3. Bereinigen Sie den gehackten Inhalt: Entfernen Sie Spam, Malware, verunstaltete Seiten oder andere Injektionen.

4. Sicherheit verstärken: Implementieren Sie zusätzliche Sicherheitsmaßnahmen wie Firewalls und häufige Updates.

5. Beantragen Sie eine Überprüfung: Sobald die Website sauber ist, fordern Sie Google auf, alle Sicherheitswarnungen zu überprüfen und zu entfernen.

In dem Video von Google wird hervorgehoben, dass der Überprüfungsprozess für Malware-Probleme im Vergleich zu Spam-Problemen schneller verläuft.

Zusätzliche Tipps von John Mueller von Google

• Verwenden Sie das Tool zum Entfernen von URLs: Schnelles Deindexieren gehackter Seiten.

• Verbessern Sie die allgemeine Qualität der Website: Konzentrieren Sie sich auf die Verbesserung der Website-Qualität und entfernen Sie nicht nur gehackte Inhalte.

• Rechnen Sie mit anhaltenden Auswirkungen: Es kann Monate dauern, bis das Vertrauen von Google vollständig wiederhergestellt ist.

Bedeutung der Website-Sicherheit

Die Sicherheit einer Website ist entscheidend für das Vertrauen der Nutzer und die Platzierung in den Suchmaschinen. Plötzliche Spitzen in der Crawling-Aktivität können auf ernsthafte Probleme hinweisen, die sofortige Aufmerksamkeit erfordern.