Comment corriger les problèmes de robots.txt et de sitemap
Une petite erreur dans robots.txt peut masquer tout un site des résultats de recherche. Un sitemap mal construit gaspille le crawl sur des pages sans importance. Les deux se corrigent rapidement, une fois les règles bien comprises.
Ce que fait robots.txt, et ce qu’il ne fait pas
Le fichier se trouve à l’adresse https://example.com/robots.txt et indique aux robots d’exploration les chemins à ignorer. Il contrôle le crawl, et non l’indexation. Une page bloquée peut tout de même apparaître dans les résultats si d’autres sites y font un lien.
Pour retirer une page des résultats, utilisez une balise noindex et laissez-la accessible au crawl, car Google doit lire la page pour voir cette balise.
Corriger les règles qui bloquent trop
Cette seule ligne bloque un site entier, et elle subsiste souvent depuis un environnement de préproduction :
User-agent: *
Disallow: /Un point de départ sûr pour la plupart des sites ressemble à ceci :
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlNe bloquez pas vos fichiers CSS ou JavaScript, car Google en a besoin pour voir la page comme le font les visiteurs. Testez une adresse précise avec le testeur robots.txt, ou créez un fichier propre avec le générateur robots.txt.
Créer un sitemap propre
Un sitemap liste les pages que vous souhaitez voir découvertes. Il ne doit contenir que des adresses qui :
- renvoient un statut
200, - correspondent à la version canonique de la page,
- ne sont pas bloquées par robots.txt ni marquées
noindex.
Un sitemap peut contenir jusqu’à 50 000 adresses ou 50 Mo. Les sites plus volumineux le répartissent en plusieurs fichiers reliés par un fichier d’index. Générez-en un avec le générateur de sitemap si votre plateforme n’en crée pas automatiquement.
Corriger les erreurs courantes
- « Impossible de lire le sitemap » : ouvrez l’adresse vous-même. Elle doit renvoyer du XML, et non une page HTML ou une erreur.
- « URL soumise bloquée par robots.txt » : supprimez la règle ou retirez cette adresse du sitemap.
- « URL soumise introuvable (404) » : votre sitemap n’est plus à jour, reconstruisez-le.
- Dates incorrectes : ne modifiez
lastmodque lorsqu’une page change réellement. Google ignore les dates auxquelles il ne peut pas se fier.
Vérifiez votre fichier avec le validateur de sitemap.
Informer les moteurs de recherche
Ajoutez la ligne Sitemap: dans robots.txt, puis soumettez l’adresse dans Google Search Console et Bing Webmaster Tools. Consultez ensuite leurs rapports de temps en temps pour repérer les nouvelles erreurs.
