En bref
- Google définit le budget de crawl comme l'ensemble des URL qu'il peut et veut explorer sur un site.
- Son guide vise surtout les sites de plus d'un million de pages, ou de plus de 10 000 pages qui changent chaque jour, et ceux qui ont beaucoup d'URL « détectées, non indexées ».
- Sur un site e-commerce, la première cause de gaspillage est la navigation à facettes, suivie des tris et des paramètres.
- Le but n'est pas d'être exploré plus, mais d'être exploré sur les bonnes pages.
Le budget de crawl est un sujet qui inquiète beaucoup de propriétaires de sites, souvent à tort. Pour la plupart des sites, Google explore sans difficulté tout ce qui mérite de l'être. Les catalogues e-commerce avec navigation à facettes font partie des exceptions.
Ce qu'est le budget de crawl
Google le définit comme l'ensemble des URL qu'il peut et veut explorer sur un site. Le web étant pratiquement infini, Google limite le temps et les ressources qu'il consacre à chaque site. Deux facteurs entrent en jeu : la capacité de votre serveur à répondre sans ralentir, et l'intérêt que Google porte à vos pages.
Qui est concerné
Le guide de Google s'adresse en priorité :
- aux grands sites (plus d'un million de pages uniques) dont le contenu change au moins chaque semaine ;
- aux sites moyens (plus de 10 000 pages uniques) dont le contenu change très rapidement, chaque jour ;
- aux sites dont une grande part des URL est classée « Détectée, actuellement non indexée » dans Search Console.
Un site e-commerce de 3 000 produits peut sembler loin de ces seuils. Mais avec ses facettes, il peut générer des centaines de milliers d'URL : chaque combinaison de filtres, chaque tri, chaque paramètre produit une adresse distincte.
Les sources de gaspillage en e-commerce
| Source | Exemple | Traitement |
|---|---|---|
| Combinaisons de facettes sans demande | ?couleur=vert&taille=36&matiere=lin |
Exploration bloquée, ou filtres en fragment # |
| Tris | ?tri=prix-croissant |
Exploration bloquée |
| Paramètres techniques | identifiants de session, suivi | Exploration bloquée, liens internes sans paramètres |
| Pages vides | filtre sans produit | Code 404 |
| Doublons | même produit sous plusieurs URL | Consolidation (canonical, redirection) |
| Chaînes de redirections | anciennes URL redirigées plusieurs fois | Redirection directe vers l'URL finale |
Google le rappelle dans sa documentation de décembre 2024 : la navigation à facettes est, de loin, la première cause de sur-exploration signalée par les sites.
Les leviers qui comptent
- Gérer l'inventaire d'URL : bloquer dans le robots.txt l'exploration des URL qui n'ont pas vocation à être indexées.
- Consolider les doublons, pour que Google n'explore pas plusieurs versions d'une même page.
- Tenir un sitemap à jour, limité aux pages indexables qui répondent en 200.
- Éviter les chaînes de redirections et les erreurs serveur.
- Accélérer les pages : un serveur rapide permet à Google d'explorer davantage sans le surcharger.
Le bon objectif
L'objectif n'est pas d'être exploré plus, mais d'être exploré sur les bonnes pages : vos catégories, vos facettes à demande réelle, vos fiches produits. Les facettes qui méritent d'être indexées doivent rester explorables et bien reliées, comme nous l'expliquons dans notre guide de la navigation à facettes.
Une fois l'exploration assainie, chaque page indexée doit justifier sa place avec des balises et un texte qui lui sont propres : une page explorée mais générique reste une page faible. C'est la partie qu'unblind automatise.
Questions fréquentes
Mon site e-commerce est-il concerné par le budget de crawl ?
Probablement pas si vous avez quelques milliers de pages. Vous l'êtes si votre catalogue génère des centaines de milliers d'URL (souvent à cause des facettes et des tris), ou si Search Console montre une grande part d'URL « Détectée, actuellement non indexée ».
Comment réduire le gaspillage de budget de crawl ?
Bloquez l'exploration des URL sans valeur (combinaisons de facettes sans demande, tris, paramètres de session) dans le robots.txt, consolidez les doublons, gardez un sitemap à jour avec uniquement des pages indexables, et évitez les chaînes de redirections.