Testeur Robots.txt

Qu’est-ce qu’un testeur robots.txt ?

robots.txt est un fichier texte brut placé à la racine d’un hôte (https://example.com/robots.txt) qui indique aux robots d’exploration les chemins qu’ils peuvent demander. Un testeur récupère ce fichier, l’analyse comme le font les moteurs de recherche et répond avec précision à une question : ce robot peut-il récupérer cette URL ? Depuis que Google a retiré le testeur robots.txt de la Search Console en 2023, un testeur indépendant est le moyen le plus rapide de vérifier les règles avant et après une mise en production.

Comment les règles sont appliquées

La correspondance suit le comportement documenté par Google et le standard d’exclusion des robots (RFC 9309) :

1. Choisir le groupe. Un robot n’obéit qu’au groupe dont le User-agent correspond le plus précisément à lui. Si Googlebot possède son propre groupe, les règles User-agent: * sont totalement ignorées pour lui.
2. Trouver les règles correspondantes. Chaque chemin Allow et Disallow est comparé depuis le début du chemin de l’URL, chaîne de requête incluse. * correspond à n’importe quels caractères et $ marque la fin de l’URL.
3. La correspondance la plus longue l’emporte. La règle au chemin le plus long décide. Si une règle Allow et une règle Disallow ont la même longueur, Allow l’emporte. Sans règle correspondante, l’accès est autorisé.

Erreurs fréquentes dans robots.txt

• Un Disallow: / oublié depuis un site de préproduction, qui bloque tout le site après la mise en ligne.
• Bloquer le CSS et le JavaScript, ce qui empêche Google d’afficher correctement vos pages.
• Utiliser robots.txt pour retirer des pages de Google. Disallow empêche l’exploration, pas l’indexation : une URL bloquée peut toujours apparaître dans les résultats si d’autres sites y font un lien. Utilisez une balise meta ou un en-tête noindex et laissez la page explorable.
• Oublier que chaque hôte a besoin de son propre fichier : shop.example.com n’utilise pas le robots.txt de www.example.com.

Besoin d’un nouveau fichier ? Créez-le avec le Générateur robots.txt, et vérifiez le traitement des robots IA avec le Vérificateur de robots IA.

Aussi recherché comme : vérifier robots.txt, validateur robots.txt, url bloquée robots.txt, googlebot bloqué, test robots.txt en ligne, directive disallow, user-agent.

Outils complémentaires : Testeur Robots.txt

• Validateur de sitemap — Repérez et validez votre sitemap XML : nombre d’URL, sous-sitemaps d’un index, couverture de lastmod, doublons et URL d’un autre domaine.
• Crawler de site web — Partez de votre page d'accueil et explorez jusqu'à 100 pages internes pour détecter les problèmes SEO de tout le site : pages cassées, titres en double, descriptions manquantes, problèmes de H1, balises noindex et pages lentes, le tout dans un rapport en temps réel.
• Analyse SEO et audit de site — Collez une URL pour effectuer jusqu’à 70 vérifications de référencement sur la page ainsi qu’un audit complet du site : vitesse Lighthouse, en-têtes de sécurité et SSL, données structurées, liens rompus, fichier robots.txt et robots d'exploration IA, principes de base de l'accessibilité, suivi et consentement, SPF/DKIM/DMARC et expiration du domaine — le tout regroupé en un score unique pour le site, accompagné de corrections classées par ordre de priorité.
• Guide explicatif sur le fichier robots.txt — Les règles du fichier robots.txt sont courtes, mais on peut facilement se tromper en les interprétant.