« Le budget de crawl, ça ne concerne que les sites à un million d’URL. » C’est à moitié vrai, et la mauvaise moitié est celle qu’on retient. Sur un site de 5 000 pages, un budget mal dépensé se traduit par des pages importantes explorées une fois par trimestre.
Là où ça fuit
Dans l’ordre de fréquence constatée sur nos audits :
- Facettes de filtrage laissées ouvertes au crawl — le champion toutes catégories.
- Pagination infinie sans lien vers les pages profondes.
- Redirections en chaîne, parfois sur trois sauts.
- Paramètres d’URL de tracking indexables.
- Versions
wwwet non-wwwservies en 200 toutes les deux. - Sitemap qui liste des URL en 404 ou en redirection.
Le robots.txt ne désindexe rien
Le malentendu le plus coûteux du métier. Disallow empêche l’exploration, pas l’indexation : une URL bloquée mais liée depuis l’extérieur peut très bien apparaître dans les résultats, sans titre ni description. Pour désindexer, il faut que Google puisse lire un noindex — donc pouvoir accéder à la page.
Bloquer dans robots.txt une page qu’on veut désindexer, c’est fermer la porte au facteur pour lui rendre un colis.
Notre analogie préférée en réunion
L’ordre des opérations
On corrige toujours dans le même ordre : d’abord ce qui trompe le crawler (statuts HTTP, canoniques contradictoires), ensuite ce qui le ralentit (temps de réponse serveur), enfin ce qui le disperse (facettes, paramètres). Inverser cet ordre revient à optimiser la vitesse d’un robot qui va au mauvais endroit.