Qu'est-ce que le Crawl Budget ?
Le budget d'exploration est le temps et les ressources qu'un moteur de recherche consacre à l'exploration d'un site web particulier. En d'autres termes, il s'agit du nombre maximum de pages qu'un moteur de recherche peut explorer sur votre site dans un délai donné. Le budget d'exploration peut varier d'un moteur de recherche à l'autre (ou d'un crawler à l'autre).
Google indique qu'il ne faut pas s'inquiéter du budget d'exploration à moins que.. :
- Votre site compte plus d'un million de pages uniques dont le contenu est modifié environ une fois par semaine.
- Vous avez un site web de taille moyenne (environ 10 000 pages) et vous modifiez fréquemment le contenu (quotidiennement).
- Vous dirigez un site d'information.
- Search Console classe la majorité des URL de votre site dans la catégorie "Découvert - actuellement non indexé".
Chaque site web bénéficie d'un budget d'exploration différent en fonction de deux facteurs principaux :
- Demande d'exploration: Définie par le nombre de pages, la fréquence de publication/mise à jour et la popularité des pages.
- Limite du taux de crawl: elle dépend des capacités du serveur, de la limite de crawl fixée par le propriétaire du site dans la Search Console, de la limite de crawl du moteur de recherche et des ajustements automatiques effectués par Google en fonction des temps de réponse du serveur.
Pourquoi le budget d'exploration est-il important ?
Le budget d'exploration est important car il détermine le nombre de pages que Googlebot peut explorer sur votre site et la fréquence à laquelle Googlebot peut explorer à nouveau vos pages web pour mettre à jour son index. Google dispose d'énormes ressources, mais il ne peut pas explorer (et recouvrir régulièrement) toutes les pages de l'internet. C'est pourquoi Google attribue un budget d'exploration aux sites web.
Pour vous assurer que votre budget d'exploration n'est pas gaspillé sur des pages sans importance, concentrez-vous sur l'optimisation de l'efficacité de l'exploration de votre site web.
Comment augmenter le budget de crawl ?
1. Accélérer votre serveur et réduire les temps de chargement des pages
Le temps de réponse du serveur et la vitesse de chargement des pages ont une incidence directe sur l'exploration. Lorsque Googlebot explore votre site, il télécharge d'abord les ressources, puis les traite. Si votre serveur répond rapidement, Googlebot peut explorer davantage de pages de votre site web.
- Utilisez un service d'hébergement web rapide et fiable et un réseau de diffusion de contenu (CDN) pour améliorer le temps de réponse initial du serveur.
- Réduisez les temps de chargement des pages en empêchant l'exploration de ressources importantes mais non critiques à l'aide du fichier robots.txt, en évitant les longues chaînes de redirection et en supprimant les thèmes et les plugins lourds et mal codés.
2. Ajouter d'autres liens
Le nombre de liens vers une page indique son importance pour Google. Googlebot explore en priorité les pages comportant davantage de liens externes et internes. Augmentez votre budget d'exploration en ajoutant plus de liens externes et internes à vos pages.
- Pour obtenir des suggestions de liens internes, vérifiez votre site Web à l'aide d'outils tels que l'audit de site de Ranktracker.
3. Corriger les liens brisés et diminuer les redirections
Trop de liens internes brisés (codes de réponse 404 ou 410) et d'URL redirigées (3xx) peuvent gaspiller le budget d'exploration de votre site. Corrigez les liens brisés et les redirections inutiles afin d'optimiser votre budget d'exploration.
- Utilisez des outils tels que l'audit de site de Ranktracker pour trouver les URL cassées et les redirections sur votre site.
4. Utiliser l'API d'indexation si possible
L'API d'indexation vous permet d'informer directement Google lorsque vous ajoutez, supprimez ou mettez à jour des pages sur votre site. Cela permet d'accélérer l'exploration de vos pages.
- Remarque : l'API d'indexation est actuellement disponible pour des cas d'utilisation spécifiques tels que les vidéos en direct et les offres d'emploi.
FAQ
Googlebot respecte-t-il le Crawl-Delay dans Robots.txt ?
Non, Googlebot ne respecte pas les paramètres de délai d'exploration appliqués dans un fichier robots.txt.
Quand faut-il se préoccuper du budget rampant ?
Vous devez vous préoccuper du budget d'exploration si vous exploitez un très grand site (plus d'un million de pages) ou un site de taille moyenne dont le contenu est modifié très fréquemment (quotidiennement). La plupart des sites n'ont pas besoin de se préoccuper du budget d'exploration.
Comment puis-je vérifier le budget Crawl de mon site Web ?
Vous ne trouverez nulle part le chiffre exact du budget d'exploration. Cependant, vous pouvez consulter l'aperçu de l'activité d'exploration de Google dans le rapport Crawl Stats de Google Search Console.
Pour plus d'informations sur l'amélioration du référencement et de l'efficacité du crawl de votre site web, visitez le blog Ranktracker et explorez notre guide SEO complet. En outre, familiarisez-vous avec les termes et concepts clés du SEO dans notre Glossaire SEO.
