Duel SEO: meta robots et en-tête X-Robots-Tag

écrit par Aymeric

ContradictionComme vous le savez (ou pas), on peut donner des instructions aux robots/crawlers via l'élément <meta name="robots" content="..." />, mais aussi via l'en-tête HTTP X-Robots-Tag. L'élément meta robot est bien souvent géré directement via les CMS, et paramétrable pour les différents types de pages de vos sites. Mais pour gérer plus rapidement certaines URL avec des paramètres spécifiques dans les URL, il est plus simple de passer via la configuration d'Apache ou PHP pour forcer des en-têtes X-Robot-Tag, sans intervenir dans le CMS. (ex: X-Robots-Tag : noindex pour les URL qui contiennent ?order=)

Mais une question se pose... Si on a des directives contradictoires entre les meta robots et l'en-tête X-Robots-Tag, qui remporte? Une implémentation a-t-elle le dessus sur l'autre? J'ai donc fait un petit test pour vérifier tout ça.

X-Robots-Tag versus meta robots

Le test est on ne peut plus simple. Deux pages Web bien distinctes ont été crées:

Page 1: http://www.yapasdequoi.com/noindex-metarobots.html
Element meta: <meta name="robots" content="noindex">
En-tête X-Robots-Tag: index

Page 2: http://www.yapasdequoi.com/noindex-xrobots.html
Element meta: <meta name="robots" content="index">
En-tête X-Robots-Tag: noindex

(trop beautiful le texte violet)

J'ai ensuite :

- placé des liens vers ces pages sur plusieurs autres pages de ce site.
- mis au four Thermostat 6-7 pendant plusieurs semaines
- laissé refroidir
- dégusté

And the winner is...

Aucune des deux méthodes d'intégration n'a le dessus sur l'autre entre la meta robots et l'en-tête X-Robots-Tag. C'est plutôt une valeur qui l'a emporté sur l'autre: pas une seule de mes deux pages de test n'a été indexée.

Conclusion:Le noindex a le pouvoir, il l'emporte sur la valeur index. Voilà, ça c'est fait. C'est le "no" le + fort... C'est toujours bon à savoir 😉

[mode tricky]censuré... :-)[/mode tricky]

écrit dans Crawl et indexation par Aymeric | 6 commentaires

6 commentaires "Duel SEO: meta robots et en-tête X-Robots-Tag"

Ajoutez un nouveau commentaire