J’au eu récemment besoin de faire un scraping de PageRank pour une liste d’URL’s assez conséquente.
N’ayant pas ScrapeBox sous la main, et souhaitant éviter un blacklistage d’IP, j’ai demandé de l’aide à des copains SEO via Skype pour trouver un logiciel qui me permettrait d’utiliser des proxys tout en faisant de la rotation automatique pour utiliser ensuite un script maison de Scraping.
Après avoir « sonné » @Mikiweb et @FlorianKarmen, c’est @Guibfrance qui m’a donné la réponse avec un freeware: Elite Proxy Switcher. Voici un petit descriptif rapide de ce soft.
Les fonctionnalitées d’EPS
Voici ce qu’Elite Proxy Switcher est capable de faire:
– Import d’une liste de proxys au format .txt (format 123.45.67.89:port)
– Vérification de la disponibilité des proxys importés
– Test de la vitesse des proxys et catégorisation: slow/normal/fast
La fonction la plus intéressante est sans doute la détection du niveau d’anonymat (level 1,2,3):
– High Anonymous Proxy (Level 1): Le serveur distant ne peut pas savoir que vous utilisez un proxy
– Anonymous Proxy (Level 2): Le serveur distant peut savoir que vous utilisez un proxy mais ne peut pas connaître votre adresse IP réelle derrière le proxy
– Transparent Proxy (Level 3): Le serveur distant peut savoir que vous utilisez un proxy et peut aussi trouver votre adresse UP derrière le proxy.
et ma liste de proxys alors?
Si vous n’avez pas de liste sous la main ou que vous hésitez à passer par une liste payante comme le propose le site d’Elite Proxy Switcher (quelques dizaine d’euros pour une liste mise à jour assez régulièrement), le site Hide my ass vous permettra d’en récupérer quelques uns avec un bon copier coller.
Pour mettre en forme le contenu de votre presse-papier, un rechercher/remplacer sous Notepad++ avec une expression régulière qui va bien vous permettra d’avoir une liste clean (sous Excel, ça fait moche…)
Utilisation d’EPS
Il ne vous reste plus qu’à importer vos proxys et lancer le test qui vérifiera la disponibilité, la vitesse, le niveau d’anonymat de chacuns d’entre eux. Une fois les serveurs indisponibles supprimés de la liste, sélectionnez ceux que vous souhaitez utiliser (en fonction de leur rapidité + proxy level) puis dans le menu « Switch », utilisez l’option « Use automatic switching » qui désactivera « Use direct connection ». La vitesse de switch est paramétrable dans l’onglet « Test->Settings »
Télécharger Elite Proxy Switcher Free
A vous de scraper!
PS: la version payante propose quelques fonctionnalitées supplémentaires comme la détection du pays des proxys (GeoIP), le test du SSL/HTTPS, la détéction des proxys potentiellement dangereux (loggués/gouvernementaux) et la detection des proxys CoDeeN/Planetlab.
Hello Aymeric,
Content que ça t’ai servi 🙂
J’avais utilisé ce tool il y a quelques mois pour vérifier le niveau de sécu de mes proxys qui me semblaient transparents … Très pratique et simple à utiliser.
Un must have !
Désolé de ne pas avoir pu t’aider d’avantage et merci pour ce soft que j’ai découvert et que j’ai adopté pour finir de filtrer ma liste de proxy choppé avec Scrapebox.
Ouuuh, très bon ce petit test, et du coup, très bon ce petit tool !
J’y vois un paquet d’utilités autres : imacros notamment. A coupler avec des tools de scrappe de proxies.
Merci pour ce petit tool, je ne connaissais et il peut s’avérer utile, mais scrapebox reste quand même le tool que j’utilise le plus souvent ^^
Rien de plus galère que d’être bloqué lorsqu’on scrape. Encore du temps de gagner dans la production. Merci pour le partage de cet outil !
Bonjour,
Merci ! je ne connaissais pas ce tool que je testerais dès que j’aurais un peu de temps. J’utilise scrapebox en général.
amicalement
Merci pour l’info je vais regarder et tester en général lorsque j’ai besoin d’un proxy j’utilise multiproxy. Tu lui donne une liste il change automatiquement d’ ip, il fait aussi le check, le niveau de sécurité, etc.
Je ne connaissais pas cet outil et effectivement il a l’air de très bien faire le job ! Merci pour ce partage et les petits conseils de configuration / utilisation.
Si vous prenez ce soft pour chercher les proxies pour faire tourner un logiciel de positionnement je vous conseille de l’éviter parce que:
1/ Les proxies sont publics
2/ Les proxies sont mutualisés
Vous allez vite cramer votre IP
Si je loue des proxys, c’est pratique pour la rotation. Tu parles des proxys gratuits pris sur hidemyass?
le switch entre les connexions est vraiment rapide ? ce la ne risque pas de faire sauter des scripts maisons en train de mouliner ?