Les petites subtilités du fichier robots.txt qui peuvent faire mal
Le fichier robots.txt utile dans bien des cas, pour éviter des fuites de crawl (et contrôler au mieux la façon dont le fougueux Googlebot visites vos URL) a des subtilités. Après avoir corrigé plusieurs erreurs sur le fichier d’un client,… Continuer la lecture