Qu’est ce que le Crawl Budget et comment l’améliorer ?

Que représente un Crawl Budget en référencement ?

Le budget d’exploration (ou Crawl Budget) est un terme inventé par l’industrie du référencement pour désigner un certain nombre de concepts et de systèmes connexes que les moteurs de recherche utilisent pour décider du nombre et du type de pages à explorer. Il s’agit essentiellement de l’attention que les moteurs de recherche accorderont à votre site Web.

Pourquoi les moteurs de recherche attribuent-ils un Crawl Budget aux sites Web ?

Parce qu’ils ne disposent pas de ressources illimitées et qu’ils répartissent leur attention sur des millions de sites Web. Ils ont donc besoin d’un moyen de hiérarchiser leurs efforts d’exploration. L’attribution d’un budget d’exploration à chaque site Web les aide à le faire.

Comment attribuent-ils le Crawl Budget aux sites Web ?

En fonction de deux facteurs, la limite d’exploration et la demande d’exploration :

• Limite de crawl / charge de l’hôte : quelle quantité de crawl un site Web peut-il supporter, et quelles sont les préférences de son propriétaire ?
• Demande d’exploration / programmation de l’exploration : quelles sont les URL qui méritent d’être (ré)explorées le plus souvent, en fonction de leur popularité et de la fréquence de leur mise à jour.

Le budget de crawl est un terme courant dans le domaine du référencement. Le budget de crawl est parfois aussi appelé espace de crawl ou temps de crawl.

Le Crawl Budget concerne-t-il uniquement les pages ?

En fait non, pour des raisons de facilité nous parlons de pages, mais en réalité il s’agit de tout document que les moteurs de recherche explorent. Quelques exemples d’autres documents : Les fichiers JavaScript et CSS, les variantes de pages mobiles, les variantes de hreflang et les fichiers PDF.

Comment fonctionne la limite d’exploration/charge de l’hôte en pratique ?

La limite de crawl, ou la charge de l’hôte, est une partie importante du budget de crawl. Les crawlers des moteurs de recherche sont conçus pour éviter de surcharger un serveur web avec des demandes, ils sont donc prudents à ce sujet.

Comment les moteurs de recherche déterminent-ils la limite de crawl d’un site web ?

Il existe une variété de facteurs influençant la limite d’exploration. Pour n’en citer que quelques-uns :

• Les signes d’une plateforme en mauvais état : la fréquence à laquelle les URL demandées passent en mode timeout ou renvoient des erreurs de serveur.
• Le nombre de sites Web fonctionnant sur l’hôte : si votre site Web fonctionne sur une plate-forme d’hébergement partagé avec des centaines d’autres sites Web, et que vous avez un site Web assez important, la limite d’exploration de votre site Web est très limitée car la limite d’exploration est déterminée au niveau de l’hôte. Vous devez partager la limite d’exploration de l’hôte avec tous les autres sites qui y sont hébergés. Dans ce cas, il est préférable d’opter pour un serveur dédié, ce qui réduira très probablement les temps de chargement pour vos visiteurs.