Robots.txt Checker
Testez si vos URLs sont autorisees ou bloquees par un robots.txt, pour Googlebot comme pour les bots IA. Detection d'anomalies et robots.txt optimise.
Collez un robots.txt ou recuperez celui d'un domaine, listez des URLs a tester et obtenez leur statut (autorise / bloque) pour chaque robot. Besoin de creer un robots.txt plutot que de le tester ? Utilisez le Generateur robots.txt IA.
Comment ca marche
- Mode Live : saisissez un domaine, le robots.txt est recupere automatiquement.
- Mode Statique : collez le contenu d'un robots.txt ou glissez-deposez un fichier.
- Ajoutez les URLs a tester (une par ligne), choisissez un User-Agent et lancez l'analyse.
- Comparez plusieurs User-Agents via Comparer un autre UA.
Fonctionnalites
- Verification Allow / Disallow conforme a la specification Google.
- Detection des anomalies (blocage total, contradictions, doublons, absence de sitemap).
- Pistes d'optimisation structurelles avec robots.txt optimise copiable.
- Export CSV et copie TSV des resultats.
Configuration du test
Collez directement le contenu d'un fichier robots.txt ci-dessous, ou glissez-deposez un fichier.