Googlebot

robots.txt

Respecte robots.txt pour toutes les explorations automatiques. Un Disallow empêche l'exploration, pas forcément l'indexation d'une URL liée par ailleurs : utiliser une balise noindex pour désindexer.

Vérifier l'authenticité

Reverse DNS + forward DNS

Reverse DNS : l'IP doit résoudre vers un hôte en crawl-*.googlebot.com (ou geo-crawl-*.geo.googlebot.com), à confirmer par un forward DNS. Google publie aussi ses plages d'IP au format JSON (common-crawlers.json). Le user-agent seul, trivialement usurpable, ne prouve rien.

Recommandation SEO

Autoriser

À autoriser. Bloquer Googlebot revient à sortir de l'index Google et à perdre le trafic organique. Réserver les Disallow aux zones sans valeur SEO : panier, filtres à facettes non ouverts, back-office.

À savoir

Google-Extended est un token distinct qui contrôle l'usage des contenus pour l'entraînement de Gemini et les réponses IA, sans affecter l'indexation Search. Googlebot rend le JavaScript via le Web Rendering Service.