Aller au contenu

Générateur robots.txt pour crawlers IA

Choisissez quels crawlers IA autoriser ou bloquer, en 1 clic ou bot par bot. Sortie robots.txt, Nginx, .htaccess. Comparateur sur un site existant.

1. Choisissez un preset

2. Par type de bot

Override global par catégorie. Écrasé par les choix bot par bot.

Enrichissement LLM 0
Indexation 0
User-action / live 0
Autre 0

3. Par bot (optionnel)

Les choix ici écrasent les choix par type. Laissez "Suivre le type" pour l'immense majorité des cas.

Indexation AddSearchBot
Enrichissement LLM AI2Bot
User-action / live AI2Bot-DeepResearchEval
Enrichissement LLM Ai2Bot-Dolma
Enrichissement LLM aiHitBot
Indexation amazon-kendra
Indexation Amazonbot
User-action / live AmazonBuyForMe
Indexation Amzn-SearchBot
User-action / live Amzn-User
Indexation Andibot
Indexation Anomura
User-action / live anthropic-ai
Enrichissement LLM ApifyBot
Enrichissement LLM ApifyWebsiteContentCrawler
Indexation Applebot
Enrichissement LLM Applebot-Extended
Indexation Aranet-SearchBot
Indexation atlassian-bot
Enrichissement LLM Awario
Indexation AzureAI-SearchBot
Indexation bedrockbot
User-action / live bigsur.ai
Indexation Bravebot
Enrichissement LLM Brightbot 1.0
User-action / live BuddyBot
Enrichissement LLM Bytespider
Enrichissement LLM CCBot
Indexation Channel3Bot
Enrichissement LLM ChatGLM-Spider
User-action / live ChatGPT Agent
User-action / live ChatGPT-User
Indexation Claude-SearchBot
User-action / live Claude-User
User-action / live Claude-Web
Enrichissement LLM ClaudeBot
Indexation Cloudflare-AutoRAG
Indexation CloudVertexBot
Enrichissement LLM cohere-ai
Enrichissement LLM cohere-training-data-crawler
Enrichissement LLM Cotoyogi
Enrichissement LLM Crawl4AI
Enrichissement LLM Crawlspace
Enrichissement LLM Datenbank Crawler
Enrichissement LLM DeepSeekBot
User-action / live Devin
Enrichissement LLM Diffbot
Indexation DuckAssistBot
Enrichissement LLM Echobot Bot
Enrichissement LLM EchoboxBot
Indexation ExaBot
Enrichissement LLM FacebookBot
User-action / live facebookexternalhit
Enrichissement LLM Factset_spyderbot
Enrichissement LLM FirecrawlAgent
Enrichissement LLM FriendlyCrawler
User-action / live Gemini-Deep-Research
User-action / live Google-Agent
User-action / live Google-CloudVertexBot
Enrichissement LLM Google-Extended
User-action / live Google-Firebase
User-action / live Google-NotebookLM
User-action / live GoogleAgent-Mariner
User-action / live GoogleOther
User-action / live GoogleOther-Image
User-action / live GoogleOther-Video
Enrichissement LLM GPTBot
Indexation iAskBot
Enrichissement LLM iaskspider
Enrichissement LLM iaskspider/2.0
Indexation IbouBot
Enrichissement LLM ICC-Crawler
Enrichissement LLM ImagesiftBot
Enrichissement LLM imageSpider
Enrichissement LLM img2dataset
Enrichissement LLM ISSCyberRiskCrawler
User-action / live kagi-fetcher
Enrichissement LLM Kangaroo Bot
Indexation KlaviyoAIBot
Indexation KunatoCrawler
Enrichissement LLM laion-huggingface-processor
Enrichissement LLM LAIONDownloader
Enrichissement LLM LCC
User-action / live LinerBot
Enrichissement LLM Linguee Bot
Indexation LinkupBot
User-action / live Manus-User
Enrichissement LLM meta-externalagent
Enrichissement LLM Meta-ExternalAgent
Enrichissement LLM meta-externalfetcher
Enrichissement LLM Meta-ExternalFetcher
Indexation meta-webindexer
User-action / live MistralAI-User
User-action / live MistralAI-User/1.0
Enrichissement LLM MyCentralAIScraperBot
Enrichissement LLM netEstate Imprint Crawler
User-action / live NotebookLM
User-action / live NovaAct
Indexation OAI-SearchBot
Enrichissement LLM omgili
Enrichissement LLM omgilibot
User-action / live OpenAI
User-action / live Operator
Enrichissement LLM PanguBot
Enrichissement LLM Panscient
Enrichissement LLM panscient.com
User-action / live Perplexity-User
Indexation PerplexityBot
Indexation PetalBot
Indexation PhindBot
User-action / live Poggio-Citations
Enrichissement LLM Poseidon Research Crawler
User-action / live QualifiedBot
Enrichissement LLM QuillBot
Enrichissement LLM quillbot.com
Enrichissement LLM SBIntuitionsBot
Enrichissement LLM Scrapy
Indexation SemrushBot-OCOB
Indexation SemrushBot-SWA
Indexation ShapBot
Enrichissement LLM Sidetrade indexer bot
Enrichissement LLM Spider
Indexation TavilyBot
Enrichissement LLM TerraCotta
Enrichissement LLM Thinkbot
Enrichissement LLM TikTokSpider
Enrichissement LLM Timpibot
User-action / live TwinAgent
Enrichissement LLM VelenPublicWebCrawler
Enrichissement LLM WARDBot
Enrichissement LLM Webzio-Extended
Enrichissement LLM webzio-extended
User-action / live wpbot
Enrichissement LLM WRTNBot
Enrichissement LLM YaK
Enrichissement LLM YandexAdditional
Enrichissement LLM YandexAdditionalBot
Indexation YouBot
Autre ZanistaBot

Analyser un site existant

Entrez un domaine : on récupère son /robots.txt et on liste les bots IA couverts / non couverts.