Comment utiliser : Guide explicatif sur le fichier robots.txt
- Saisissez l'adresse d'un site web et cliquez sur « Récupérer le fichier robots.txt », ou collez directement le contenu du fichier.
- Veuillez lire les explications relatives à chaque groupe d'agents utilisateurs : ce qui est bloqué, ce qui est autorisé à titre d'exception et quels caractères génériques correspondent.
- Consultez la liste des problèmes : CSS/JS bloqués, un élément valable pour l'ensemble du site
Disallow: /, des lignes non prises en chargenoindexet bien d’autres encore. - Testez des URL spécifiques avec un robot d'exploration afin de déterminer précisément quelle règle s'applique.
Comment les robots d'indexation interprètent le fichier robots.txt
- Choisissez un groupe : un robot d'indexation utilise le groupe dont
User-agentcorrespond le plus précisément à son nom, et uniquement ce groupe. Googlebot ignore le*groupe si unGooglebotgroupe existe. - Recherchez les règles correspondantes —
Disallowet lesAllowles valeurs sont des préfixes de chemin.*correspond à n’importe quel caractère,$marque la fin de l’URL. - La règle la plus longue l’emporte — c’est la règle de correspondance la plus spécifique (la plus longue) qui est déterminante. Si une règle « Allow » et une règle « Disallow » ont la même longueur, c’est la règle « Allow » qui l’emporte (Google et RFC 9309).
| Règle | Signification |
|---|---|
Disallow: / | Bloquer l’ensemble du site |
Disallow: (vide) | Ne rien bloquer |
Disallow: /admin/ | Bloquer tout ce qui se trouve sous /admin/ |
Disallow: /admin | Bloque également /admin-login et /administrator |
Disallow: /*.pdf$ | Bloquer les URL se terminant par .pdf |
Disallow: /*? | Bloquer toute URL comportant une chaîne de requête |
Ce que le fichier robots.txt ne peut pas faire
Il contrôle l’exploration, pas l’indexation. Une URL bloquée peut tout de même apparaître dans Google si d’autres pages y renvoient — utilisez une noindex balise meta (et autorisez l’exploration afin que Google puisse la voir). Noindex: Les lignes contenues dans le fichier robots.txt sont ignorées par Google depuis 2019, et Crawl-delay est ignorée par Google (Bing et Yandex la respectent).
Créez un nouveau fichier à l’aide du générateur de fichier robots.txt, testez un site en ligne avec le testeur de fichier robots.txt, vérifiez les robots IA avec le vérificateur de robots d’exploration IA et validez les plans de site que vous répertoriez à l’aide du validateur de plans de site.
Aussi recherché comme : le fichier robots.txt expliqué, outil de vérification du fichier robots.txt, signification du fichier robots.txt, explication de la directive « disallow » dans le fichier robots.txt, caractère générique dans le fichier robots.txt, règles du fichier robots.txt, comprendre le fichier robots.txt.
Outils complémentaires : Guide explicatif sur le fichier robots.txt
- Meta Tag Checker — See exactly how Google is likely to display your page: title and description measured in pixels, desktop and mobile previews, and every meta tag in the <head>.
- Analyse SEO et audit de site — Collez une URL pour effectuer jusqu’à 70 vérifications de référencement sur la page ainsi qu’un audit complet du site : vitesse Lighthouse, en-têtes de sécurité et SSL, données structurées, liens rompus, fichier robots.txt et robots d'exploration IA, principes de base de l'accessibilité, suivi et consentement, SPF/DKIM/DMARC et expiration du domaine — le tout regroupé en un score unique pour le site, accompagné de corrections classées par ordre de priorité.
- IndexNow Submitter — Tell search engines about new and updated pages instantly.
- Redirect Mapper — Migrating or redesigning a site?
Questions fréquentes
La fonction « Disallow » supprime-t-elle une page de Google ?
Non. La balise « noindex » empêche l'exploration, mais l'URL peut tout de même être indexée à partir de liens (elle s'affiche alors sans description). Pour supprimer une page, autorisez l'exploration et ajoutez une balise meta « noindex » ou un en-tête X-Robots-Tag.
Que signifie le signe $ dans le fichier robots.txt ?
Elle s'applique à la fin de l'URL. La règle « Disallow: /*.pdf$ » bloque l'accès à /files/report.pdf, mais pas à /files/report.pdf?download=1.
Si « Autoriser » et « Interdire » correspondent tous les deux, lequel prévaut ?
La règle de correspondance la plus longue (la plus spécifique). Lorsque les deux ont la même longueur, la règle « Allow » prévaut pour Google et les robots d'indexation conformes à la norme RFC 9309.
Dois-je bloquer le CSS et le JavaScript ?
Non. Google affiche les pages comme le ferait un navigateur ; le blocage des fichiers CSS ou JS peut donner l'impression au Googlebot que les pages sont défectueuses et nuire au référencement, notamment en ce qui concerne l'adaptation aux appareils mobiles.
Puis-je installer Guide explicatif sur le fichier robots.txt en tant qu’application web et l’utiliser hors ligne ?
Oui. Guide explicatif sur le fichier robots.txt est une application web installable (PWA) : elle s’installe depuis votre navigateur, sans passer par une boutique d’applications. Cliquez sur « Installer l’application » en haut de cette page dans Chrome ou Edge (Windows, macOS, Linux, ChromeOS) ; sur Android, utilisez « Partager » → « Ajouter à l’écran d’accueil » sur iPhone et iPad ; ou « Fichier » → « Ajouter au Dock » dans Safari 17+ sur Mac. L’application s’ouvre alors dans sa propre fenêtre avec sa propre icône, et comme elle s’exécute entièrement dans votre navigateur, elle continue de fonctionner hors ligne. Firefox sur ordinateur de bureau ne permet pas d’installer d’applications web. Comment fonctionne l’installation.