Google ajoute de nouveaux robots Googlebot : GoogleOther-Image et GoogleOther-Video

Intro

Google a introduit deux nouveaux robots d'indexation dans la famille Googlebot :

• GoogleAutre image

• GoogleAutres vidéos

Ces nouveaux crawlers sont conçus pour améliorer l'exploration des données binaires, ce qui, selon Google, permettra de soutenir la recherche et le développement.

Découvrez l'impact de l'IA sur le référencement et le marketing numérique.

Présentation des nouveaux Crawlers

Les deux nouveaux robots, GoogleOther-Image et GoogleOther-Video, sont des versions optimisées de GoogleOther pour récupérer respectivement des octets d'images et de vidéos. GoogleOther a été initialement ajouté en avril 2023 pour être utilisé en interne par les équipes de Google pour explorer le web public, libérant ainsi des ressources pour les crawlers principaux de Googlebot.

Découvrez les avantages de l'intégration du contenu généré par les utilisateurs.

GoogleAutre image

GoogleOther-Image est la version de GoogleOther conçue pour récupérer les URL d'images accessibles au public. D'après la documentation, elle fonctionnera avec les user agents tokens GoogleOther-Image et GoogleOther. La chaîne complète de l'agent utilisateur sera GoogleOther-Image/1.0.

Explorer les stratégies permettant d'améliorer la précision du contenu.

GoogleAutres vidéos

GoogleOther-Video est la version de GoogleOther conçue pour récupérer les URL vidéo accessibles au public. À l'instar de GoogleOther-Image, elle utilise les jetons d'agent utilisateur GoogleOther-Video et GoogleOther. La chaîne complète de l'agent utilisateur sera GoogleOther-Video/1.0.

Découvrez l'avenir de l'IA dans la publicité numérique.

Objectif des nouveaux crawlers

Google a lancé ces nouveaux robots d'exploration pour mieux prendre en charge l'exploration de données binaires pouvant être utilisées à des fins de recherche et de développement. Cette initiative vise à améliorer la capacité de Google à traiter efficacement les données image et vidéo.

Comprendre le rôle des lignes directrices dans le marketing piloté par l'IA.

Aperçu des robots d'indexation de Google

Google utilise différents types de robots d'indexation, notamment :

• Googlebot: Le principal robot d'exploration des produits de recherche de Google, qui respecte toujours les règles du fichier robots.txt.

• Lescrawlers spéciaux: Ces crawlers remplissent des fonctions spécifiques (comme AdsBot) et peuvent ou non respecter les règles du fichier robots.txt.

• Lesrécupérateurs déclenchés par l'utilisateur: Outils et fonctions de produits dans lesquels l'utilisateur final déclenche une récupération. Par exemple, Google Site Verifier ou certains outils de Google Search Console envoient Google chercher la page en fonction d'une action de l'utilisateur.

Découvrez comment créer du contenu de haute qualité grâce à l'IA.

Gammes d'adresses IP et masques DNS de Google

Google a dressé une liste des plages d'adresses IP et des masques DNS inversés pour chaque type de robot d'exploration :

• Googlebot: googlebot.json (crawl----.googlebot.com ou geo-crawl----.geo.googlebot.com)

• Crawlers spéciaux : special-crawlers.json (rate-limited-proxy----.google.com)

• Récupérateurs déclenchés par l'utilisateur: user-triggered-fetchers.json (---.gae.googleusercontent.com)

Explorer l'éthique de l'IA dans la publicité.

Pourquoi c'est important

Pour ceux qui surveillent les activités d'exploration et les activités des robots sur leurs sites web, il est essentiel de reconnaître ces nouveaux robots GoogleOther comme des robots Google légitimes. Lorsque vous constatez une activité de ces robots dans vos fichiers journaux, vous pouvez être certain qu'elle est authentique et qu'elle s'inscrit dans le cadre des efforts déployés par Google pour améliorer ses capacités de recherche et de traitement des données.

Comprendre l'importance des restrictions de contenu dans les outils d'IA.