24 Nov 2016
écrit par
Le fichier robots.txt utile dans bien des cas, pour éviter des fuites de crawl (et contrôler au mieux la façon dont le fougueux Googlebot visites vos URL) a des subtilités.
Après avoir corrigé plusieurs erreurs sur le fichier d'un client, je me suis dit qu'un petit article sur le sujet serait pertinent.
Hier, j'ai vu passer un post de Gary Illyes (Webmaster Trends Analyst chez Google) qui m'a interpellé : https://plus.google.com/+GaryIllyes/posts/ZPPrxASiXf3
En effet, il annonce que la balise <meta name="robots"> est lu et comprise par Google à l'extérieure d'une section HEAD d'une page Web, ce qui signifie concrètement qu'une balise <meta name="robots" content"noindex"> placée dans la partie <body> d'une page d'accueil par exemple, pourrait tout simplement sortir une homepage de l'index Google.
Pour ceux qui ne connaissent pas le Lazy loading, il s'agit d'une technique consistant à charger un objet sur une page Web, uniquement quand celui-ci est visible par l'internaute, dans sa fenêtre de navigateur.
Par exemple, si vous allez sur la home de Cdiscount relativement chargée en images, il y a de quoi bien scroller avant d'arriver en bas de la page. Pourtant certains utilisateur vont simplement cliquer sur le menu, et charger malgré tout un grand nombre d'images qu'ils ne verront même pas...
A plusieurs reprises, j'ai été confronté à un problème avec la balise <h1> en homepage des sites de mes clients. Le nom du site ou de la marque est présent dans la balise <h1> de l'ensemble des templates du site. Les pages profondes, les pages catégories, articles se retrouvent donc avec 2 balises <h1>.
Bien que cela ne pose pas de problème en HTML 5, on pourrait se dire que "comme plusieurs occurences du meme lien dans une page", Google prendrait en compte avec plus de poids le permier <h1> rencontré.
Zineb Ait Bahajji (Google Zurich) et Vincent Courson (Google Dublin) de la Search Quality Team, ont répondu aux questions des Webmasters et SEO ce mercredi à 17H.
Cette FAQ intervient un peu moins d'un mois avant l'update qui modifiera les SERP Mobile de Google à partir du 21 Avril 2015, une mise à jour à laquelle on s'attendait depuis plusieurs mois.
Ayant raté les 15 premières minutes, voici les principaux points qui ont été soulevés:
Bien que le robots.txt ne soit pas toujours respecté, c'est malgré tout un élément indispensable pour éviter que Google crawl des URL sans intérêt pertinentes, et provoque des dommages collatéraux. J'ai récemment eu un problème bien particulier pour un client, des URL bloquées par le fichier robots.txt et qui malgré tout se sont retrouvées crawlées, et indexées.
Cela était du à l'encodage des URL, mais sur une portion bien spécifique de l'URL: la chaîne de paramètres (query_string pour les intimes).
J'ai donc réalisé un test grâce à GoogleWebmaster Tools pour voir comment Google traitait les URL encodées. Le CMS utilisé était RBSChange (plateforme Ecommerce)
