Avant même de parler de positionnement, Google doit franchir deux étapes trop souvent confondues : crawler vos pages (les explorer), puis les indexer (les stocker pour les afficher). C’est là que se logent une grande partie des problèmes SEO techniques : budget de crawl gaspillé sur des URL inutiles, pages bloquées par erreur, duplicate content qui dilue les signaux, ou désindexation qui ne prend jamais.
Ce guide rassemble une quinzaine de retours d’expérience et de cas concrets, du fichier robots.txt aux migrations, pour maîtriser ce que Googlebot voit réellement de votre site.
1. Maîtriser le fichier robots.txt
Le robots.txt pilote l’exploration, pas l’indexation : une URL bloquée au crawl peut malgré tout apparaître dans les résultats. Sa syntaxe, en apparence simple, réserve des pièges (regroupement des User-agent, wildcards, sensibilité à la casse, URL encodées) capables de bloquer tout un site par accident.
- robots.txt : les petites subtilités qui peuvent faire mal
- robots.txt : le test des URL encodées
- robots.txt : laissons à Google ce qui lui appartient
- Le piège du robots.txt Drupal qui bloque Google Images
2. Indexation & désindexation
Faire entrer une page dans l’index, ou l’en sortir proprement, ne se joue pas au même endroit que le crawl. Entre meta robots, en-tête X-Robots-Tag et directives serveur, chaque méthode a ses cas d’usage. Et le robots.txt, lui, ne désindexe pas.
- X-Robots-Tag : maîtriser son indexation via les en-têtes HTTP
- Duel SEO : balises meta robots vs en-tête X-Robots-Tag
- Test de 5 méthodes de désindexation d’une page sur Google
- Supprimer une liste d’URL de l’index Google
- « Index of » : désactiver le listing de vos répertoires web
3. Budget de crawl & analyse de logs
Sur un gros site, Google n’explore qu’une partie des URL à chaque passage : c’est le budget de crawl. Pour l’optimiser, rien ne remplace l’analyse des logs serveur, seule source fiable de ce que Googlebot fait vraiment, à condition de savoir l’isoler et l’interpréter.
- Isoler les logs de Googlebot avec Apache
- Traquer les erreurs de crawl rencontrées par Googlebot
- Analyse du crawl de Googlebot avec la Watussi Box
- Combinaison de paramètres d’URL : le script des logs
- Pourquoi les bots ne parlent aucune langue (Accept-Language)
4. Éviter le duplicate content
Le contenu dupliqué disperse les signaux entre plusieurs URL au lieu de les concentrer. Les sources sont nombreuses et souvent invisibles : HTTP contre HTTPS, paramètres de tracking, environnements de préproduction indexés, ou bugs d’URL propres à certains CMS.
- WordPress : le duplicate content des URL de catégories
- Stop au duplicate content : l’indexation des sites de preprod
- Duplicate content HTTP vs HTTPS
- Duplicate content & paramètres de tracking
- Negative SEO : se protéger du duplicate content malveillant
- Script anti-duplicate content avec les sous-domaines
5. Migrations & maintenance
Une migration est le moment où l’on perd le plus vite son indexation : une seule URL oubliée, et c’est du trafic qui s’évapore. De même, une mise en maintenance mal gérée (page 200 ou redirection au lieu d’un 503) envoie un mauvais signal à Googlebot.
- Lors d’une migration SEO, n’oubliez aucune URL
- Site en maintenance : le code HTTP 503 pour préserver son SEO
Un chantier de crawl ou d’indexation à sécuriser ?
Migration à préparer, budget de crawl à optimiser, problème d’indexation qui résiste ? Confiez-moi votre problématique.