Générateur robots.txt pour crawlers IA
Choisissez quels crawlers IA autoriser ou bloquer, en 1 clic ou bot par bot. Sortie robots.txt, Nginx, .htaccess. Comparateur sur un site existant.
1. Choisissez un preset
2. Par type de bot
Override global par catégorie. Écrasé par les choix bot par bot.
Enrichissement LLM
0
Indexation
0
User-action / live
0
Autre
0
3. Par bot (optionnel)
Les choix ici écrasent les choix par type. Laissez "Suivre le type" pour l'immense majorité des cas.
Indexation
AddSearchBot
Autre
AgentTimes
Enrichissement LLM
AI2Bot
User-action / live
AI2Bot-DeepResearchEval
Enrichissement LLM
Ai2Bot-Dolma
Autre
aiHitBot
Autre
AIWebIndex
Indexation
amazon-kendra
Autre
amazon-QBusiness
Enrichissement LLM
Amazonbot
User-action / live
AmazonBuyForMe
Indexation
Amzn-SearchBot
User-action / live
Amzn-User
Indexation
Andibot
Indexation
Anomura
Enrichissement LLM
anthropic-ai
Enrichissement LLM
ApifyBot
Enrichissement LLM
ApifyWebsiteContentCrawler
Indexation
Applebot
Enrichissement LLM
Applebot-Extended
Indexation
Aranet-SearchBot
Indexation
atlassian-bot
Autre
Awario
Indexation
AzureAI-SearchBot
Enrichissement LLM
bedrockbot
User-action / live
bigsur.ai
Indexation
Bravebot
Autre
Brightbot
Enrichissement LLM
Brightbot 1.0
User-action / live
BuddyBot
Enrichissement LLM
Bytespider
Enrichissement LLM
CCBot
Indexation
Channel3Bot
Enrichissement LLM
ChatGLM-Spider
Autre
ChatGPT Agent
User-action / live
ChatGPT-User
Autre
Claude-Code
Indexation
Claude-SearchBot
User-action / live
Claude-User
Enrichissement LLM
Claude-Web
Enrichissement LLM
ClaudeBot
Indexation
Cloudflare-AutoRAG
Autre
CloudVertexBot
Autre
Code
User-action / live
cohere-ai
Enrichissement LLM
cohere-training-data-crawler
Enrichissement LLM
Cotoyogi
Autre
CragCrawler
Enrichissement LLM
Crawl4AI
Enrichissement LLM
Crawlspace
Autre
Cursor
Autre
Datenbank Crawler
Enrichissement LLM
DeepSeekBot
User-action / live
Devin
Enrichissement LLM
Diffbot
User-action / live
DuckAssistBot
Autre
Echobot Bot
Autre
EchoboxBot
Indexation
ExaBot
Enrichissement LLM
FacebookBot
Autre
facebookexternalhit
Autre
Factset_spyderbot
Enrichissement LLM
FirecrawlAgent
Enrichissement LLM
FriendlyCrawler
Autre
GeistHaus-PageFetcher
User-action / live
Gemini-Deep-Research
User-action / live
Google-Agent
Indexation
Google-CloudVertexBot
Enrichissement LLM
Google-Extended
Autre
Google-Firebase
Autre
Google-Gemini-CLI
User-action / live
Google-NotebookLM
User-action / live
GoogleAgent-Mariner
Autre
GoogleAgent-URLContext
Enrichissement LLM
GoogleOther
Enrichissement LLM
GoogleOther-Image
Enrichissement LLM
GoogleOther-Video
Enrichissement LLM
GPTBot
Autre
HenkBot
Indexation
iAskBot
Indexation
iaskspider
Indexation
iaskspider/2.0
Enrichissement LLM
ICC-Crawler
Enrichissement LLM
ImagesiftBot
Enrichissement LLM
imageSpider
Enrichissement LLM
img2dataset
Autre
ISSCyberRiskCrawler
User-action / live
kagi-fetcher
Enrichissement LLM
Kangaroo Bot
User-action / live
Kimi-User
Indexation
KlaviyoAIBot
Indexation
KunatoCrawler
Enrichissement LLM
laion-huggingface-processor
Enrichissement LLM
LAIONDownloader
Enrichissement LLM
LCC
Autre
LinerBot
Enrichissement LLM
Linguee Bot
Indexation
LinkupBot
User-action / live
Manus-User
Enrichissement LLM
meta-externalagent
Enrichissement LLM
Meta-ExternalAgent
User-action / live
meta-externalfetcher
User-action / live
Meta-ExternalFetcher
Indexation
meta-webindexer
User-action / live
MistralAI-User
User-action / live
MistralAI-User/1.0
Autre
Mozilla-Tabstack
Enrichissement LLM
MyCentralAIScraperBot
Autre
NagetBot
Autre
netEstate Imprint Crawler
Autre
newsai
User-action / live
NotebookLM
User-action / live
NovaAct
Indexation
OAI-SearchBot
Enrichissement LLM
omgili
Enrichissement LLM
omgilibot
Autre
OpenAI
Autre
opencode
User-action / live
Operator
Enrichissement LLM
PanguBot
Autre
Panscient
Autre
panscient.com
User-action / live
Perplexity-User
Indexation
PerplexityBot
Indexation
PetalBot
Indexation
PhindBot
User-action / live
Poggio-Citations
Enrichissement LLM
Poseidon Research Crawler
User-action / live
QualifiedBot
Indexation
Querit-SearchBot
Autre
QueritBot
Autre
QuillBot
Enrichissement LLM
quillbot.com
Enrichissement LLM
SBIntuitionsBot
Enrichissement LLM
Scrapy
Autre
SemrushBot-OCOB
Autre
SemrushBot-SWA
User-action / live
Shap-User
Indexation
ShapBot
Autre
Sidetrade indexer bot
Enrichissement LLM
Spider
User-action / live
TavilyBot
Autre
Terra Cotta
Indexation
TerraCotta
Enrichissement LLM
Thinkbot
Enrichissement LLM
TikTokSpider
Indexation
Timpibot
Autre
TongyiBot
Autre
Trae
User-action / live
TwinAgent
Autre
UseAI
Autre
VelenPublicWebCrawler
Autre
WARDBot
Enrichissement LLM
Webzio-Extended
Enrichissement LLM
webzio-extended
Autre
wpbot
Indexation
WRTNBot
Autre
YaK
Autre
YandexAdditional
Autre
YandexAdditionalBot
Autre
YiyanBot
Indexation
YouBot
Autre
ZanistaBot
Analyser un site existant
Entrez un domaine : on récupère son /robots.txt et on liste les bots IA couverts / non couverts.