Générateur robots.txt pour crawlers IA
Choisissez quels crawlers IA autoriser ou bloquer, en 1 clic ou bot par bot. Sortie robots.txt, Nginx, .htaccess. Comparateur sur un site existant.
Cet outil crée et fusionne un robots.txt ciblant les crawlers IA, et analyse celui d'un site existant.
Décidez quels crawlers IA laisser passer selon leur usage : entraînement LLM, indexation IA, user-action. Réglage en 1 clic (preset), par catégorie ou bot par bot, avec export robots.txt, Nginx et .htaccess. Vous pouvez importer votre robots.txt existant : seuls les blocs des bots IA sont régénérés, le reste est conservé (règles globales, Allow/Disallow par répertoire, Sitemaps, autres robots). 188 bots IA suivis (voir la veille complète), mis à jour automatiquement.
Création et fusion de robots.txt
1. Choisissez un preset
2. Par type de bot
Applique l'action à tous les bots de la catégorie et les pré-sélectionne en partie 3. Les bots réglés à la main sont préservés.
3. Par bot (optionnel)
Facultatif : par défaut chaque bot suit son type. N'ouvrez cette liste que pour régler un bot précis.
Affiner bot par bot (200 bots)
AddSearchBot
AgentDataBot
AgentTimes
AGI Agent
AI2Bot
AI2Bot-DeepResearchEval
Ai2Bot-Dolma
aiHitBot
AIWebIndex
amazon-kendra
amazon-QBusiness
Amazonbot
AmazonBuyForMe
Amzn-SearchBot
Amzn-User
Andibot
Anomura
anthropic-ai
ApifyBot
ApifyWebsiteContentCrawler
Applebot
Applebot-Extended
Aranet-SearchBot
atlassian-bot
Awario
AzureAI-SearchBot
bedrockbot
bigsur.ai
BixelBot
Bravebot
Brightbot
Brightbot 1.0
BuddyBot
Bytespider
CartAI Agentic Commerce
CCBot
Channel3Bot
ChatGLM-Spider
ChatGPT Agent
ChatGPT-User
Claude-Code
Claude-SearchBot
Claude-User
Claude-Web
ClaudeBot
CledaraBot
Cloudflare-AutoRAG
CloudflareBrowserRenderingCrawler
CloudVertexBot
Code
Codex
cohere-ai
cohere-training-data-crawler
Cotoyogi
CragCrawler
Crawl4AI
Crawlspace
Cursor
Datenbank Crawler
DeepSeekBot
Devin
Diffbot
Diffbot-User
Dot
DoubaoBot
DuckAssistBot
Echobot Bot
EchoboxBot
ElevenlabsBot
ERNIEBot
ExaBot
ExaSearchBot
ExaUser
FacebookBot
facebookexternalhit
Factset_spyderbot
FirecrawlAgent
FriendlyCrawler
GeistHaus-PageFetcher
Gemini-Deep-Research
Google-Agent
Google-CloudVertexBot
Google-Extended
Google-Firebase
Google-Gemini-CLI
Google-NotebookLM
GoogleAgent-Mariner
GoogleAgent-URLContext
GoogleOther
GoogleOther-Image
GoogleOther-Video
GPTBot
Grok Bot
GrokAppAndroid
GrokBot
HarkBot
HenkBot
Hunyuan
iAskBot
iaskspider
iaskspider/2.0
ICC-Crawler
ImagesiftBot
imageSpider
img2dataset
Instinct
ISSCyberRiskCrawler
kagi-fetcher
Kangaroo Bot
KeenableBot
Kimi-Agent
Kimi-SearchBot
Kimi-User
KimiBot
KlaviyoAIBot
KunatoCrawler
laion-huggingface-processor
LAIONDownloader
LCC
Lightpanda
LinerBot
Linguee Bot
LinkupBot
Manus-User
meta-externalagent
Meta-ExternalAgent
meta-externalfetcher
Meta-ExternalFetcher
meta-webindexer
MistralAI-Index
MistralAI-Training
MistralAI-User
MistralAI-User/1.0
MoonshotBot
Mozilla-Tabstack
Muse
MyCentralAIScraperBot
NagetBot
nbot
netEstate Imprint Crawler
newsai
NotebookLM
NovaAct
OAI-AdsBot
OAI-SearchBot
omgili
omgilibot
OpenAI
opencode
Operator
PanguBot
Panscient
panscient.com
Payhawk Invoice Fetching Agent
Perplexity-User
PerplexityBot
PetalBot
PhindBot
Poggio-Citations
Poseidon Research Crawler
qodercli
QualifiedBot
Querit-SearchBot
QueritBot
QuillBot
quillbot.com
QwenBot
Reflectionbot
SBIntuitionsBot
Scrapy
SemrushBot-OCOB
SemrushBot-SWA
Shap-User
ShapBot
Sidetrade indexer bot
Spider
TavilyBot
Terra Cotta
TerraCotta
Thinkbot
TikTokSpider
Timpibot
TongyiBot
Trae
TwinAgent
UseAI
VelenPublicWebCrawler
WARDBot
Webzio-Extended
webzio-extended
wpbot
WRTNBot
xAI-Grok
YaK
YandexAdditional
YandexAdditionalBot
YiBot
YiyanBot
YouBot
ZanistaBot
Analyse d'un site
Vérifiez le robots.txt d'un site existant : l'outil liste les crawlers IA déjà bloqués et ceux qui passent encore, et vous pouvez ajouter les bots non couverts à votre configuration en un clic. Pratique pour benchmarker un concurrent.
Analyser un site existant
Entrez un domaine (avec ou sans https://) : on récupère son /robots.txt et on liste les bots IA couverts / non couverts.
Vérifiez votre robots.txt avant de le publier
Une fois votre robots.txt généré, testez-le avec le Robots.txt Checker : il vérifie si vos URLs sont autorisées ou bloquées, pour Googlebot comme pour les bots IA, et repère les anomalies.