Google fügt neue Googlebot Crawler hinzu: GoogleOther-Image und GoogleOther-Video

Intro

Google hat zwei neue Webcrawler in die Googlebot-Familie aufgenommen:

• GoogleOther-Image

• GoogleOther-Video

Diese neuen Crawler wurden entwickelt, um das Crawling von Binärdaten zu verbessern, was laut Google die Forschung und Entwicklung unterstützen wird.

Erfahren Sie mehr über die Auswirkungen von KI auf SEO und digitales Marketing.

Einführung in die neuen Crawler

Die beiden neuen Crawler, GoogleOther-Image und GoogleOther-Video, sind optimierte Versionen von GoogleOther zum Abrufen von Bild- bzw. Videobytes. GoogleOther wurde ursprünglich im April 2023 hinzugefügt, um intern von Google-Teams zum Crawlen des öffentlichen Webs verwendet zu werden und so Ressourcen für die Haupt-Crawler des Googlebot freizusetzen.

Entdecken Sie die Vorteile der Integration von nutzergenerierten Inhalten.

GoogleOther-Image

GoogleOther-Image ist die Version von GoogleOther, die auf das Abrufen von öffentlich zugänglichen Bild-URLs zugeschnitten ist. Der Dokumentation zufolge wird sie unter den User-Agent-Tokens von GoogleOther-Image und GoogleOther betrieben. Der vollständige User-Agent-String lautet GoogleOther-Image/1.0.

Untersuchung von Strategien zur Verbesserung der Genauigkeit von Inhalten.

GoogleOther-Video

GoogleOther-Video ist die Version von GoogleOther, die für das Abrufen von öffentlich zugänglichen Video-URLs entwickelt wurde. Ähnlich wie bei GoogleOther-Image werden hier die User-Agent-Token von GoogleOther-Video und GoogleOther verwendet. Der vollständige User-Agent-String lautet GoogleOther-Video/1.0.

Lesen Sie über die Zukunft der KI in der digitalen Werbung.

Zweck der neuen Crawler

Google hat diese neuen Crawler eingeführt, um das Crawlen von Binärdaten, die für Forschung und Entwicklung verwendet werden können, besser zu unterstützen. Diese Initiative zielt darauf ab, die Fähigkeit von Google zu verbessern, Bild- und Videodaten effizient zu verarbeiten.

Verstehen Sie die Rolle von Richtlinien im KI-gesteuerten Marketing.

Übersicht über die Google Crawler

Google setzt verschiedene Arten von Crawlern ein, darunter:

• Googlebot: Der Haupt-Crawler für die Suchprodukte von Google, der die robots.txt-Regeln stets beachtet.

• Crawler für besondere Fälle: Diese Crawler führen spezielle Funktionen aus (z. B. AdsBot) und können die robots.txt-Regeln einhalten oder auch nicht.

• Vom Benutzer ausgelöste Abrufe: Tools und Produktfunktionen, bei denen der Endnutzer einen Abruf auslöst. Beispielsweise veranlassen Google Site Verifier oder einige Google Search Console-Tools Google dazu, die Seite auf der Grundlage einer Nutzeraktion abzurufen.

Erfahren Sie mehr über die Erstellung hochwertiger Inhalte mit KI.

Google IP-Adressbereiche und DNS-Masken

Google hat IP-Adressbereiche und Reverse-DNS-Masken für jede Art von Crawler aufgelistet:

• Googlebot: googlebot.json (crawl----.googlebot.com oder geo-crawl----.geo.googlebot.com)

• Crawler für Sonderfälle: special-crawlers.json (rate-limited-proxy----.google.com)

• Vom Benutzer ausgelöste Abrufe: user-triggered-fetchers.json (---.gae.googleusercontent.com)

Erforschen Sie die ethischen Aspekte der KI in der Werbung.

Warum das wichtig ist

Für diejenigen, die Crawling- und Bot-Aktivitäten auf ihren Websites überwachen, ist es wichtig, diese neuen GoogleOther-Crawler als legitime Googlebots zu erkennen. Wenn Sie Aktivitäten dieser Crawler in Ihren Logdateien sehen, können Sie sicher sein, dass sie echt sind und Teil der Bemühungen von Google sind, ihre Such- und Datenverarbeitungsfunktionen zu verbessern.

dieBedeutung von Inhaltsbeschränkungen bei KI-Tools zu verstehen.