Retour au blog

Crawl Budget et SEO : Les principes à retenir

Nous allons voir ensemble le fonctionnement du crawl budget, en quoi il est pertinent pour votre site web et comment l’optimiser.
Analysons étape par étape les principes qui régissent le crawl budget dans l’ordre ci-dessous :

  • Le fonctionnement des moteurs de recherche
  • En quoi consiste le budget d’exploration et quel est son fonctionnement ?
  • L’optimisation du budget d’exploration
  • Le Mobile First
Crawl Budget et SEO : Les principes à retenir

Le fonctionnement des moteurs de recherche

Avant d’entrer dans le vif du sujet, nous allons expliquer comment fonctionne Google.
Afin de générer des résultats, Google doit passer par 3 étapes :

  • En premier lieu nous avons l’étape d’exploration : les robots d’exploration Web vont accéder aux pages web qui sont accessibles publiquement
  • Ensuite vient la phase d’indexation où une analyse de contenu de chaque page va être effectuée par Google, pour pouvoir ensuite stocker les informations trouvées.
  • Enfin vient la phase de diffusion/positionnement où Google diffusera les réponses les plus appropriées qu’il piochera dans son index en fonction de la requête de l’utilisateur et de son intention de recherche (info, aide à la décision, achat etc..)

Ceci étant dit, nous allons maintenant voir ce qu’est un budget d’exploration et la façon dont celui-ci fonctionne.

En quoi consiste le budget d’exploration et quel est son fonctionnement ?


Définition :

Commençons tout d’abord par définir ce qu’est un budget d’exploration : Un budget d’exploration (ou Crawl Budget en anglais) correspond aux nombres de page limite qu’un robot d’exploration va explorer sur un site web.
Comme son nom l’indique il y a un budget, ainsi une fois ce budget consommé le robot d’exploration mettra fin à sa prospection.
Afin d’être indexé il faudra donc ne pas dépasser ce budget d’exploration ou tout du moins l’optimiser (nous y reviendrons), une mauvaise gestion de ce budget pourrait avoir comme conséquence de perdre du contenu massif en SEO.

Facteurs affectant le budget d’exploration

4 facteurs principaux sont pris en compte pour déterminer le budget que votre site bénéficiera :

  • Les performances du serveur : Les temps de chargement du site, plus un site est lent moins le budget accordé sera important.
  • Nouveaux contenus : Un site comportant du contenu mis à jour régulièrement sera valorisé par Google.
  • Taille du site : Plus un site est volumineux plus le budget d’exploration nécessaire sera important.
  • Liens : Les liens morts ainsi que la structure interne de liens

Facteurs ayant un impact négatif sur le budget d’exploration


Dans la partie technique, différents facteurs sont à prendre en compte afin de ne pas tirer le site vers le bas. Plus un site Web contient des URL à faibles valeurs plus le crawling sera impacté négativement.
Voici la liste des facteurs à éviter :

  • Le serveur et l’hébergement : Un site ayant des crash intempestifs sera moins visité par Googlebot.
  • Duplication de contenu : Le robot va passer plusieurs fois sur un contenu identique, ce qui dépensera inutilement le budget d’exploration.
  • Le spam et le contenu de faible qualité : Si le robot constate que le site Web contient une grande partie de spam ou de contenu de mauvaise qualité, le budget diminuera.
  • BOT TRAP ou piège à robots : Nous retrouvons régulièrement ce
    genre de problème technique sur les sites qui utilisent des
    paramètres dans les url. Un bot trap va ajouter à l’infini, en
    additionnant la plupart du temps, ces paramètres à l’url. Nous
    pouvons donc retrouver des milliers d’URL sur un site avec
    seulement quelques dizaines de pages intéressantes.

Concepts clés du budget d’exploration

  • Limite du taux d’exploration :
    Cette limite aide Google dans sa détermination du budget d’exploration à accorder à un site Web. Elle fonctionne de la manière suivante :
    Googlebot va explorer un site web ==> Ensuite le bot va pousser le serveur du site pour voir comment il répond ==> Suite à la réponse Googlebot augmentera ou baissera la limite.
    Par ailleurs la limite peut être modifiée par les propriétaires de site Web, il suffit d’ouvrir la page Paramètres de taux d’exploration.
  • Demande d’exploration

Cette demande d’exploration est déterminée par 2 facteurs :

– La popularité de l’URL

– La stabilité

Ainsi ces 2 concepts clés que sont la limite du taux d’exploration et la demande d’exploration vont être principalement utilisés par Google afin de déterminer le budget d’exploration de Googlebot.

Optimisation du budget d’exploration


Maintenant que nous avons vu ce qu’était le budget d’exploration et son fonctionnement, nous allons voir comment l’optimiser.


Comment optimiser le budget d’exploration ?

  • Définir des pages prioritaires et identifier les pages obsolètes
    L’objectif ici sera d’identifier les pages consommant inutilement du budget d’exploration en utilisant la Search Console, elle permet de voir les pages qui sont crawlées mais pas indexées. D’ailleurs en utilisant la Search Console ainsi que Google Analytics on pourra aussi identifier les pages à mettre en priorité (celles générant des clics et des revenus principalement).
  • Optimisation des pages
    Mettre à jour son contenu et informer Google via des sitemaps.
    Supprimer les spam/doublons ainsi que les contenus de mauvaise qualité
    Corriger les liens défectueux (erreurs 404, chaînes de redirection, mauvaises redirections)
    Optimiser robots.txt : afin de lui indiquer les URL à ne pas explorer.
    – Optimiser le temps de chargement des pages
    – Optimiser son maillage interne : bien organiser les liens internes de votre site web afin de rendre la navigation plus fluide.
    – Passer son site en HTTPS si il est en HTTP.

Le Mobile First


Depuis mars 2018 un processus de priorité au contenu mobile a été mis en place par Google avec pour objectif d’améliorer l’expérience utilisateur sur les appareils mobiles.
Ce passage au « Mobile First » finira sa transition une fois pour toute en mars 2021, l’indexation Mobile First sera effective pour tous les sites (pour tous les pays).

Conclusion


Le budget d’exploration est donc un système d’une importance capitale à connaître pour quiconque souhaiterais améliorer son contenu SEO.
Cependant ce système n’est pas voué à subsister indéfiniment puisque Google est en constante évolution. Ainsi, il pourrait, dans un avenir proche, être modifié ou bien même carrément disparaître.