29 Jan 2013
écrit par
Depuis quelques mois, j'utilise beaucoup Google Apps Script. Pour ceux qui savent pas encore de quoi il s'agit, c'est un langage de script du "cloud" de Google, très proche du Javascript, qui permet de faire communiquer différents services de Google entre eux, mais aussi avec des applications tiers et toutes sortes d'API externes.
Bref, cela permet d'imaginer pas mal de choses sympas surtout quand on a l'esprit tordu, avec ce couteau suisse géant, made in Google.
Lorsque vous scrappez les pages de résultats de Google dans le but de trouver des cibles potentielles pour vos campagnes de netlinking, il ne ressort souvent que très peu d'URLs potables sur un grand nombre d'URLs récupérées.
Séprarer le bon grain de l'ivraie pour peu de rendement au final, les grosses moissons d'URL demandent des ressources et surtout des proxys pour eviter de tomber dans les captchas...
Je tenais à vous présenter une application open-source développé par Jean-Benoît Moingt aka Mr Watussi (très bon blog SEO orienté technique/PHP/logs/Apache) qui va vous permettre de suivre le crawl de GoogleBot sur vos sites, via une interface Web et sans avoir à aller trifouiller les logs en ligne de commande
Voici un petit article sur l'en-tête X-Robot-Tag et l'en-tête Link rel=canonical.
X-Robot-Tag pour simplifier, c'est l'équivalent de la meta <meta name="robots"> (que vous pouvez placer dans le code source de vos pages HTML) mais dans les en-têtes HTTP, de même pour la Canonical.
Cette méthode présente de nombreux avantages, c'est une solution rapide et efficace à mettre en oeuvre: quelques lignes dans votre configuration d'Apache ou .htaccess.
ModPageSpeed est un module du serveur Apache développé par les équipes de Google dans le but est d'accélérer votre site, via un nombre assez impressionnant de filtres et fonctions dont la compression d'images à la volée.
Je compte faire un article détaillé à ce sujet prochainement sur ses fonctionnalités et son intérêt inutilité mais je n'ai pas résisté à l'envie de partager avec vous ce que je viens de remarquer: Modpagespeed tire une balle dans les pieds de Googlebot-Image quand vous le désactivez!
L'un des blogs que j'héberge sur un serveur dédié été victime d'un blast bien sévère (ou mal paramétré?) hier soir...
Plusieurs tentatives de commentaires par seconde via la méthode POST, je vous laisse deviner la suite: un plantage du serveur Apache qui n'a pas tenu la charge, les requêtes en POST n'étant pas mises en cache par Varnish.
Voici comment j'ai pu bloquer l'attaque (pour que mon Apache ne soit pas cassé - cf photo).
