Le fichier robots.txt est destiné aux robots (crawlers) comme son nom l'indique. Censé bloquer l'indexation de certaines URL, son efficacité peut parfois laisser songeur...
Ils peuvent cepandant être lus par les humains. Il suffit de rajouter /robots.txt à la fin d'une nom de domaine. Et cela peut parfois donner des informations intéressantes aux indiscrets!
Le script PHP de cet article fait suite à une petite déception du site spyonweb.com dans le jeu du moment des SEO à savoir: "Qui est Gasy?" (mystérieux blog SEO pertinent et décalé qui a fait son apparition récemment).
Ma première démarche a été de vérifier la liste des autres sites hébergés sur le même serveur que gasymagnifik.com, la réponse de SpyonWeb m'ayant laissé sur ma faim... J'ai donc allié quelques lignes de code et une commande du moteur de recherche Bing afin d'avoir plus de réponses.
Xenu est un excellent outil gratuit pour vérifier des liens mais aussi pour récupérer l'ensemble des balises <title> et <meta description...> de toutes les pages d'un site.
En faisant un crawl d'un site pour un audit avec Xenu's Link Sleuth, un petit bug a fait son apparition: la colonne<title>déraille dans certains cas.
Le contenu dupliqué mais surtout le contenu volé est une véritable plaie. Nous cherchons tous à avoir du contenu unique pour ne pas passer dans le filtre Anti Duplicate Content de Google.
Grâce au HTTP_REFERER, il est possible de connaître l'URL d'un site qui ferait appel à vos images en direct. N'ayant pas codé depuis longtemps et sur une idée de l'ami @jambonbuzz (SEO chez Miwim), je me suis décidé à écrire un petit script afin de détecter les plagiaires via un tracking d'images.
Suite à l'article de Daniel Roch sur les différentes manières pour optimiser les performances d’un thème WordPress , je voulais rajouter mon petit grain de sel sur une optimisation parfois très efficace concernant les images. Cette astuce consiste à encoder les images en Base64.
Mais c'est quoi ce "Base 64" Aymeric? Pour ceux qui ne connaissent pas et si l'on s'en tient à la définition de Wikipédia, "base64 est un codage de l'information utilisant 64 caractères, choisis pour être disponibles sur la majorité des systèmes." Nous allons utiliser ce codage pour représenter des données binaires dans du texte. Je vous ai perdu? déja? Bon, fin de l'intro...
J'au eu récemment besoin de faire un scraping de PageRank pour une liste d'URL's assez conséquente.
N'ayant pas ScrapeBox sous la main, et souhaitant éviter un blacklistage d'IP, j'ai demandé de l'aide à des copains SEO via Skype pour trouver un logiciel qui me permettrait d'utiliser des proxys tout en faisant de la rotation automatique pour utiliser ensuite un script maison de Scraping.
Après avoir "sonné" @Mikiweb et @FlorianKarmen, c'est @Guibfrance qui m'a donné la réponse avec un freeware: Elite Proxy Switcher. Voici un petit descriptif rapide de ce soft.
