Comment utiliser : Générateur robots.txt
- Cliquez sur un modèle pour commencer : « Autoriser tout » pour la plupart des sites, « WordPress » ou « Style Shopify » pour ces plateformes, ou « Tout bloquer » pour un site de préproduction.
- Ajoutez des règles Disallow et Allow pour chaque groupe de user-agent. Les chemins commencent par
/;*correspond à n’importe quels caractères et$marque la fin de l’URL. - Vous pouvez ajouter « + Bloquer les bots d’entraînement IA » pour vous exclure de l’entraînement des modèles tout en conservant les crawlers classiques des moteurs de recherche.
- Saisissez vos URL de sitemap, vérifiez les alertes, puis téléchargez
robots.txtet importez-le à la racine de votre domaine (par ex.https://example.com/robots.txt). Vérifiez-le avec le Testeur robots.txt.
Qu’est-ce que robots.txt ?
robots.txt est un fichier texte brut situé à la racine d’un hôte (https://www.example.com/robots.txt) qui indique aux crawlers les URL qu’ils peuvent demander. Il suit le Robots Exclusion Protocol, normalisé sous la forme de la RFC 9309 en 2022. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow ; un crawler n’applique que le groupe le plus spécifique correspondant à son nom, et se rabat sur User-agent: * sinon.
Comment les règles sont appliquées
- Les règles correspondent aux chemins d’URL par préfixe :
Disallow: /adminbloque/admin,/admin/et/administrator. Utilisez/admin/pour ne bloquer que le dossier. *correspond à toute suite de caractères et$marque la fin :Disallow: /*.pdf$bloque tous les PDF.- Lorsque Allow et Disallow correspondent tous deux, Google applique la règle la plus longue (la plus spécifique) ; en cas d’égalité, Allow l’emporte.
- Un
Disallow:vide signifie « tout autoriser ».Disallow: /bloque l’ensemble du site.
Bloquer les crawlers IA
Les entreprises d’IA utilisent des user-agents distincts pour l’entraînement des modèles, l’indexation de recherche et les requêtes déclenchées par l’utilisateur ; vous pouvez donc refuser l’entraînement sans disparaître des réponses de recherche IA :
| User-agent | Opérateur | Usage |
|---|---|---|
| GPTBot | OpenAI | Données d’entraînement |
| OAI-SearchBot / ChatGPT-User | OpenAI | Recherche ChatGPT / pages demandées par l’utilisateur |
| ClaudeBot | Anthropic | Données d’entraînement |
| Claude-SearchBot / Claude-User | Anthropic | Recherche / pages demandées par l’utilisateur |
| Google-Extended | Jeton de contrôle pour l’entraînement et l’ancrage de Gemini — n’affecte pas Google Search | |
| Applebot-Extended | Apple | Jeton de contrôle pour l’entraînement IA d’Apple |
| CCBot | Common Crawl | Corpus web ouvert largement utilisé pour l’entraînement |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Données d’entraînement |
| PerplexityBot / Perplexity-User | Perplexity | Index de recherche / pages demandées par l’utilisateur |
La conformité est volontaire : les crawlers sérieux respectent robots.txt, mais ce n’est pas un contrôle d’accès. Utilisez l’authentification ou des règles de pare-feu pour tout ce qui doit rester privé. Vérifiez ce que votre site autorise actuellement avec le Vérificateur de crawlers IA.
Erreurs à éviter
- Utiliser robots.txt pour désindexer des pages. Une URL bloquée peut rester indexée (sans extrait) si d’autres sites y font référence. Utilisez une balise meta
noindex— et ne bloquez pas cette page, sinon Google ne peut pas voir la balise. - Bloquer le CSS et le JavaScript. Google rend les pages ; bloquer
/assets/ou/wp-includes/peut faire apparaître les pages cassées à ses yeux. - Se fier à Crawl-delay. Bing et Yandex le respectent ; Googlebot l’ignore.
- Mettre en production le fichier de préproduction. Un
Disallow: /oublié est l’une des causes les plus fréquentes de chute brutale du trafic après une mise en ligne.
Aussi recherché comme : robots.txt, bloquer gptbot, bloquer les bots ia, bloquer crawlers ia, fichier robots.txt, disallow robots.txt, bloquer claudebot, robots.txt webflow.
Outils complémentaires : Générateur robots.txt
- Générateur de sitemap — Explorez votre site web et obtenez un sitemap.xml propre, qui ne contient que les pages méritant d’être indexées (statut 200, sans noindex, canonique vers elles-mêmes), avec la liste de chaque URL exclue et la raison de son exclusion.
- Générateur llms.txt — Rédigez un fichier llms.txt qui offre aux assistants IA une carte Markdown sélectionnée de votre site : nom du projet, résumé, pages clés et éléments facultatifs, conformément à la proposition llmstxt.org.
- Validateur de sitemap — Repérez et validez votre sitemap XML : nombre d’URL, sous-sitemaps d’un index, couverture de lastmod, doublons et URL d’un autre domaine.
- Générateur de balises meta — Remplissez un seul formulaire pour obtenir un <head> complet et valide (titre, description, canonical, robots, Open Graph, cartes X/Twitter, couleur de thème et icônes), avec aperçus en direct et code spécifique à Webflow.
Questions fréquentes
Où importer robots.txt ?
À la racine de chaque hôte, par ex.
https://www.example.com/robots.txt. Les sous-domaines ont besoin de leur propre fichier. Dans Webflow, collez-le dans Paramètres du site › SEO › robots.txt ; sur Shopify, modifiez le modèle de thème robots.txt.liquid.Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Bloquer GPTBot empêche OpenAI d’utiliser vos pages pour l’entraînement. La recherche ChatGPT utilise OAI-SearchBot et les requêtes déclenchées par l’utilisateur utilisent ChatGPT-User ; bloquez-les aussi uniquement si vous souhaitez rester absent des réponses de ChatGPT.
Google-Extended affecte-t-il mon classement Google ?
Non. Google-Extended est uniquement un jeton de contrôle pour l’entraînement et l’ancrage de Gemini ; Googlebot continue d’explorer et de classer vos pages normalement.
robots.txt peut-il empêcher une page d’apparaître dans Google ?
Pas de façon fiable. Il bloque l’exploration, pas l’indexation. Pour retirer une page des résultats, autorisez l’exploration et ajoutez
<meta name="robots" content="noindex">, ou utilisez une protection par mot de passe.Comment tester mon robots.txt ?
Collez-le dans le Testeur robots.txt pour vérifier si une URL donnée est autorisée pour Googlebot, Bingbot ou les crawlers IA avant la publication.
Puis-je installer Générateur robots.txt en tant qu’application web et l’utiliser hors ligne ?
Oui. Générateur robots.txt est une application web installable (PWA) : elle s’installe depuis votre navigateur, sans passer par une boutique d’applications. Cliquez sur « Installer l’application » en haut de cette page dans Chrome ou Edge (Windows, macOS, Linux, ChromeOS) ; sur Android, utilisez « Partager » → « Ajouter à l’écran d’accueil » sur iPhone et iPad ; ou « Fichier » → « Ajouter au Dock » dans Safari 17+ sur Mac. L’application s’ouvre alors dans sa propre fenêtre avec sa propre icône, et comme elle s’exécute entièrement dans votre navigateur, elle continue de fonctionner hors ligne. Firefox sur ordinateur de bureau ne permet pas d’installer d’applications web. Comment fonctionne l’installation.