Crawlers IA : liste et classement SEO des user agents
Référentiel actionnable des bots IA (GPTBot, ClaudeBot, PerplexityBot…), classés par impact SEO. Agrégé depuis ai-robots-txt, rafraîchi chaque heure.
164
Bots IA référencés
Toutes catégories confondues
52
Scrapers d'entraînement
À bloquer par défaut
0
Nouveaux scrapers 30 j
Apparus le mois dernier
2 semaines
Depuis dernière modif
Merge pull request #240 from bobmatyas/add/tabstack
5 derniers crawlers IA identifiés
Détectés automatiquement depuis les titres de commits « Add … » du référentiel.
-
Mozilla-Tabstack -
AIWebIndex -
amazon-QBusiness -
TongyiBot -
YiyanBot
Répartition par type (classement SEO)
Classification selon l'usage du bot : scrape pour entraîner un modèle, crawle pour indexer, ou fetch déclenché par un prompt. Cliquer sur une ligne pour filtrer le tableau.
Liste complète des crawlers IA (164 référencés)
Exporter
| User-agent | Type | Opérateur | Date de découverte | Action |
|---|---|---|---|---|
AddSearchBot
|
Indexation | AddSearch | — | Autoriser |
AgentTimes
|
Autre | [The Agent Times](https://theagenttimes.com/about) | 3 Juin 2026 | À surveiller |
AI2Bot
|
Enrichissement LLM | [Ai2](https://allenai.org/crawler) | — | Bloquer par défaut |
AI2Bot-DeepResearchEval
|
User-action / live | Allen Institute for AI | 4 Déc 2025 | À considérer |
Ai2Bot-Dolma
|
Enrichissement LLM | — | — | Bloquer par défaut |
aiHitBot
|
Autre | [aiHit](https://www.aihitdata.com/about) | — | À surveiller |
AIWebIndex
|
Autre | Lyrenth that builds an AI-readable index of web content for AI systems | 9 Juil 2026 | À surveiller |
amazon-kendra
|
Indexation | — | 21 Nov 2025 | Autoriser |
amazon-QBusiness
|
Autre | — | 9 Juil 2026 | À surveiller |
Amazonbot
|
Enrichissement LLM | Amazon | 24 Oct 2025 | Bloquer par défaut |
AmazonBuyForMe
|
User-action / live | [Amazon](https://amazon.com) | 5 Nov 2025 | À considérer |
Amzn-SearchBot
|
Indexation | Amazon | 14 Fév 2026 | Autoriser |
Amzn-User
|
User-action / live | Amazon | 14 Fév 2026 | À considérer |
Andibot
|
Indexation | [Andi](https://andisearch.com/) | — | Autoriser |
Anomura
|
Indexation | [Direqt](https://direqt.ai) | 20 Oct 2025 | Autoriser |
anthropic-ai
|
Enrichissement LLM | — | — | Bloquer par défaut |
ApifyBot
|
Enrichissement LLM | Apify | 7 Mar 2026 | Bloquer par défaut |
ApifyWebsiteContentCrawler
|
Enrichissement LLM | Apify | 7 Mar 2026 | Bloquer par défaut |
Applebot
|
Indexation | Apple | — | Autoriser |
Applebot-Extended
|
Enrichissement LLM | — | — | Bloquer par défaut |
Aranet-SearchBot
|
Indexation | — | 27 Mar 2026 | Autoriser |
atlassian-bot
|
Indexation | — | 5 Nov 2025 | Autoriser |
Awario
|
Autre | Awario | — | À surveiller |
AzureAI-SearchBot
|
Indexation | Microsoft | 14 Fév 2026 | Autoriser |
bedrockbot
|
Enrichissement LLM | [Amazon](https://amazon.com) | — | Bloquer par défaut |
bigsur.ai
|
User-action / live | — | — | À considérer |
Bravebot
|
Indexation | https://safe.search.brave.com/help/brave-search-crawler | 20 Oct 2025 | Autoriser |
Brightbot
|
Autre | — | 13 Mai 2026 | À surveiller |
Brightbot 1.0
|
Enrichissement LLM | — | — | Bloquer par défaut |
BuddyBot
|
User-action / live | [BuddyBotLearning](https://www.buddybotlearning.com) | 4 Nov 2025 | À considérer |
Bytespider
|
Enrichissement LLM | ByteDance | — | Bloquer par défaut |
CCBot
|
Enrichissement LLM | [Common Crawl Foundation](https://commoncrawl.org) | — | Bloquer par défaut |
Channel3Bot
|
Indexation | Channel3 | 6 Déc 2025 | Autoriser |
ChatGLM-Spider
|
Enrichissement LLM | Zhipu AI | 4 Déc 2025 | Bloquer par défaut |
ChatGPT Agent
|
Autre | [OpenAI](https://openai.com) | — | À surveiller |
ChatGPT-User
|
User-action / live | — | — | À considérer |
Claude-Code
|
Autre | — | 13 Mai 2026 | À surveiller |
Claude-SearchBot
|
Indexation | — | — | Autoriser |
Claude-User
|
User-action / live | — | — | À considérer |
Claude-Web
|
Enrichissement LLM | — | — | Bloquer par défaut |
ClaudeBot
|
Enrichissement LLM | [Anthropic](https://www.anthropic.com) | — | Bloquer par défaut |
Cloudflare-AutoRAG
|
Indexation | — | 20 Oct 2025 | Autoriser |
CloudVertexBot
|
Autre | — | À surveiller | |
Code
|
Autre | — | 13 Mai 2026 | À surveiller |
cohere-ai
|
User-action / live | — | — | À considérer |
cohere-training-data-crawler
|
Enrichissement LLM | — | — | Bloquer par défaut |
Cotoyogi
|
Enrichissement LLM | [ROIS](https://ds.rois.ac.jp/en_center8/en_crawler/) | — | Bloquer par défaut |
CragCrawler
|
Autre | CragSoftware, a Brazil-based software company specializing in data engineering and AI web scraping services | 16 Juin 2026 | À surveiller |
Crawl4AI
|
Enrichissement LLM | Crawl4AI | 4 Déc 2025 | Bloquer par défaut |
Crawlspace
|
Enrichissement LLM | [Crawlspace](https://crawlspace.dev) | — | Bloquer par défaut |
Cursor
|
Autre | — | 26 Juin 2026 | À surveiller |
Datenbank Crawler
|
Autre | Datenbank | — | À surveiller |
DeepSeekBot
|
Enrichissement LLM | DeepSeek | 25 Sep 2025 | Bloquer par défaut |
Devin
|
User-action / live | Devin AI | — | À considérer |
Diffbot
|
Enrichissement LLM | [Diffbot](https://www.diffbot.com/) | — | Bloquer par défaut |
DuckAssistBot
|
User-action / live | DuckDuckGo | — | À considérer |
Echobot Bot
|
Autre | Echobox | — | À surveiller |
EchoboxBot
|
Autre | [Echobox](https://echobox.com) | — | À surveiller |
ExaBot
|
Indexation | Exa | 7 Mar 2026 | Autoriser |
FacebookBot
|
Enrichissement LLM | Meta/Facebook | — | Bloquer par défaut |
facebookexternalhit
|
Autre | Meta/Facebook | — | À surveiller |
Factset_spyderbot
|
Autre | — | — | À surveiller |
FirecrawlAgent
|
Enrichissement LLM | Firecrawl that extracts web content and converts it into structured data for use in LLM and AI applications | — | Bloquer par défaut |
FriendlyCrawler
|
Enrichissement LLM | Unknown | — | Bloquer par défaut |
GeistHaus-PageFetcher
|
Autre | — | 16 Juin 2026 | À surveiller |
Gemini-Deep-Research
|
User-action / live | — | À considérer | |
Google-Agent
|
User-action / live | 27 Mar 2026 | À considérer | |
Google-CloudVertexBot
|
Indexation | — | — | Autoriser |
Google-Extended
|
Enrichissement LLM | — | — | Bloquer par défaut |
Google-Firebase
|
Autre | — | 27 Août 2025 | À surveiller |
Google-Gemini-CLI
|
Autre | — | 13 Mai 2026 | À surveiller |
Google-NotebookLM
|
User-action / live | 16 Oct 2025 | À considérer | |
GoogleAgent-Mariner
|
User-action / live | — | — | À considérer |
GoogleAgent-URLContext
|
Autre | — | 16 Juin 2026 | À surveiller |
GoogleOther
|
Enrichissement LLM | — | Bloquer par défaut | |
GoogleOther-Image
|
Enrichissement LLM | — | — | Bloquer par défaut |
GoogleOther-Video
|
Enrichissement LLM | — | — | Bloquer par défaut |
GPTBot
|
Enrichissement LLM | [OpenAI](https://openai.com) | — | Bloquer par défaut |
HenkBot
|
Autre | — | 13 Mai 2026 | À surveiller |
iAskBot
|
Indexation | iAsk AI | 4 Déc 2025 | Autoriser |
iaskspider
|
Indexation | SINA | 4 Déc 2025 | Autoriser |
iaskspider/2.0
|
Indexation | — | — | Autoriser |
IbouBot
|
Indexation | Ibou | 21 Oct 2025 | Autoriser |
ICC-Crawler
|
Enrichissement LLM | — | — | Bloquer par défaut |
ImagesiftBot
|
Enrichissement LLM | [ImageSift](https://imagesift.com) | — | Bloquer par défaut |
imageSpider
|
Enrichissement LLM | ByteDance | 4 Déc 2025 | Bloquer par défaut |
img2dataset
|
Enrichissement LLM | [img2dataset](https://github.com/rom1504/img2dataset) | — | Bloquer par défaut |
ISSCyberRiskCrawler
|
Autre | [ISS-Corporate](https://iss-cyber.com) | — | À surveiller |
kagi-fetcher
|
User-action / live | Kagi | 14 Fév 2026 | À considérer |
Kangaroo Bot
|
Enrichissement LLM | Kangaroo LLM | — | Bloquer par défaut |
Kimi-User
|
User-action / live | — | 16 Juin 2026 | À considérer |
KlaviyoAIBot
|
Indexation | [Klaviyo](https://www.klaviyo.com) | 14 Nov 2025 | Autoriser |
KunatoCrawler
|
Indexation | Kunato | 4 Déc 2025 | Autoriser |
laion-huggingface-processor
|
Enrichissement LLM | LAION | 4 Déc 2025 | Bloquer par défaut |
LAIONDownloader
|
Enrichissement LLM | [Large-scale Artificial Intelligence Open Network](https://laion.ai/) | 29 Nov 2025 | Bloquer par défaut |
LCC
|
Enrichissement LLM | Université de Leipzig | 4 Déc 2025 | Bloquer par défaut |
LinerBot
|
Autre | Liner | — | À surveiller |
Linguee Bot
|
Enrichissement LLM | [Linguee](https://www.linguee.com) | 24 Oct 2025 | Bloquer par défaut |
LinkupBot
|
Indexation | Linkup | 4 Déc 2025 | Autoriser |
Manus-User
|
User-action / live | Butterfly Effect | 4 Déc 2025 | À considérer |
meta-externalagent
|
Enrichissement LLM | Meta | — | Bloquer par défaut |
Meta-ExternalAgent
|
Enrichissement LLM | Meta | — | Bloquer par défaut |
meta-externalfetcher
|
User-action / live | Meta | — | À considérer |
Meta-ExternalFetcher
|
User-action / live | Meta | — | À considérer |
meta-webindexer
|
Indexation | — | 9 Sep 2025 | Autoriser |
MistralAI-User
|
User-action / live | — | — | À considérer |
MistralAI-User/1.0
|
User-action / live | — | — | À considérer |
Mozilla-Tabstack
|
Autre | — | 9 Juil 2026 | À surveiller |
MyCentralAIScraperBot
|
Enrichissement LLM | — | — | Bloquer par défaut |
NagetBot
|
Autre | Naget Inc (founded by Chris Samarinas, headquarter in Amherst, Massachusetts) | 2 Mai 2026 | À surveiller |
netEstate Imprint Crawler
|
Autre | netEstate | — | À surveiller |
newsai
|
Autre | — | 2 Mai 2026 | À surveiller |
NotebookLM
|
User-action / live | 14 Nov 2025 | À considérer | |
NovaAct
|
User-action / live | Amazon | — | À considérer |
OAI-SearchBot
|
Indexation | — | — | Autoriser |
omgili
|
Enrichissement LLM | [Webz.io](https://webz.io/) | — | Bloquer par défaut |
omgilibot
|
Enrichissement LLM | [Webz.io](https://webz.io/) | — | Bloquer par défaut |
OpenAI
|
Autre | [OpenAI](https://openai.com) | 14 Août 2025 | À surveiller |
opencode
|
Autre | — | 13 Mai 2026 | À surveiller |
Operator
|
User-action / live | OpenAI | — | À considérer |
PanguBot
|
Enrichissement LLM | the Chinese company Huawei | — | Bloquer par défaut |
Panscient
|
Autre | [Panscient](https://panscient.com) | — | À surveiller |
panscient.com
|
Autre | — | — | À surveiller |
Perplexity-User
|
User-action / live | — | — | À considérer |
PerplexityBot
|
Indexation | [Perplexity](https://www.perplexity.ai/) | — | Autoriser |
PetalBot
|
Indexation | [Huawei](https://huawei.com/) | — | Autoriser |
PhindBot
|
Indexation | [phind](https://www.phind.com/) | — | Autoriser |
Poggio-Citations
|
User-action / live | Poggio | 4 Déc 2025 | À considérer |
Poseidon Research Crawler
|
Enrichissement LLM | [Poseidon Research](https://www.poseidonresearch.com) | — | Bloquer par défaut |
QualifiedBot
|
User-action / live | [Qualified](https://www.qualified.com) | — | À considérer |
Querit-SearchBot
|
Indexation | — | 16 Juin 2026 | Autoriser |
QueritBot
|
Autre | Querit, a company providing a search API for large language model integration | 16 Juin 2026 | À surveiller |
QuillBot
|
Autre | [Quillbot](https://quillbot.com) | — | À surveiller |
quillbot.com
|
Enrichissement LLM | Quillbot | — | Bloquer par défaut |
SBIntuitionsBot
|
Enrichissement LLM | [SB Intuitions](https://www.sbintuitions.co.jp/en/) | — | Bloquer par défaut |
Scrapy
|
Enrichissement LLM | [Zyte](https://www.zyte.com) | — | Bloquer par défaut |
SemrushBot-OCOB
|
Autre | — | — | À surveiller |
SemrushBot-SWA
|
Autre | — | — | À surveiller |
Shap-User
|
User-action / live | — | 22 Mai 2026 | À considérer |
ShapBot
|
Indexation | [Parallel](https://parallel.ai) | 27 Août 2025 | Autoriser |
Sidetrade indexer bot
|
Autre | [Sidetrade](https://www.sidetrade.com) | — | À surveiller |
Spider
|
Enrichissement LLM | Spider | 4 Déc 2025 | Bloquer par défaut |
TavilyBot
|
User-action / live | Tavily | 21 Déc 2025 | À considérer |
Terra Cotta
|
Autre | — | 13 Mai 2026 | À surveiller |
TerraCotta
|
Indexation | [Ceramic AI](https://ceramic.ai/) | 10 Sep 2025 | Autoriser |
Thinkbot
|
Enrichissement LLM | [Thinkbot](https://www.thinkbot.agency) | — | Bloquer par défaut |
TikTokSpider
|
Enrichissement LLM | ByteDance | — | Bloquer par défaut |
Timpibot
|
Indexation | [Timpi](https://timpi.io) | — | Autoriser |
TongyiBot
|
Autre | Alibaba that fetches web content for the Tongyi Qianwen assistant and related Qwen-generated answers | 9 Juil 2026 | À surveiller |
Trae
|
Autre | — | 13 Mai 2026 | À surveiller |
TwinAgent
|
User-action / live | Twin, a platform that creates automated workers to perform tasks by integrating with APIs and controlling web applications through browser automa… | 6 Déc 2025 | À considérer |
UseAI
|
Autre | — | 16 Juin 2026 | À surveiller |
VelenPublicWebCrawler
|
Autre | [Velen Crawler](https://velen.io) | — | À surveiller |
WARDBot
|
Autre | WEBSPARK | — | À surveiller |
Webzio-Extended
|
Enrichissement LLM | Webz.io | 4 Déc 2025 | Bloquer par défaut |
webzio-extended
|
Enrichissement LLM | Webz.io | 4 Déc 2025 | Bloquer par défaut |
wpbot
|
Autre | [QuantumCloud](https://www.quantumcloud.com) | — | À surveiller |
WRTNBot
|
Indexation | Wrtn | 4 Déc 2025 | Autoriser |
YaK
|
Autre | [Meltwater](https://www.meltwater.com/en/suite/consumer-intelligence) | — | À surveiller |
YandexAdditional
|
Autre | [Yandex](https://yandex.ru) | — | À surveiller |
YandexAdditionalBot
|
Autre | [Yandex](https://yandex.ru) | — | À surveiller |
YiyanBot
|
Autre | Baidu that fetches web content for the yiyan | 9 Juil 2026 | À surveiller |
YouBot
|
Indexation | [You](https://about.you.com/youchat/) | — | Autoriser |
ZanistaBot
|
Autre | Zanista | 4 Déc 2025 | À surveiller |
Activité récente du référentiel ai-robots-txt
5 derniers commits ayant touché le fichier robots.txt, classés par type d'action.
Voir tout l'historique
-
Ajout
Merge pull request #240 from bobmatyas/add/tabstack
ai.robots.txt
9 Juil 2026 — il y a 2 semaines
-
Modification
Update from knownagents.com
knownagents
9 Juil 2026 — il y a 2 semaines
-
Modification
Update from Dark Visitors
dark-visitors
26 Juin 2026 — il y a 4 semaines
-
Modification
Update from Dark Visitors
dark-visitors
16 Juin 2026 — il y a 1 mois
-
Modification
Update from Dark Visitors
dark-visitors
4 Juin 2026 — il y a 2 mois
Comment utiliser ces données ?
Enrichissement LLM
Scrape le web pour entraîner ou fine-tuner un modèle. Votre contenu finit en data de pré-entraînement.
Action recommandée : Bloquer par défaut
Indexation
Crawle pour alimenter un moteur de recherche IA. Votre site peut être cité comme source dans les réponses.
Action recommandée : Autoriser
User-action / live
Déclenché au moment d'un prompt utilisateur (collage d'URL, question directe). Fetch ponctuel, pas d'indexation.
Action recommandée : À considérer
Ajouts et modifications de bots : 12 derniers mois
31 commits ont modifié le fichier robots.txt du référentiel sur cette période.
Survolez une barre pour voir les bots ajoutés, retirés et le nombre de modifications du mois.
Source des données
Référentiel communautaire
ai-robots-txt/ai.robots.txt
: licence CC-BY-SA. Classification SEO curated côté yapasdequoi.com.