Comment utiliser : Crawler de site web
- Saisissez votre page d'accueil (ou une autre URL de départ) puis choisissez le nombre de pages à explorer : 30 suffisent pour un contrôle rapide, 100 couvrent la plupart des petits sites.
- Cliquez sur Lancer l'exploration. Les pages s'affichent au fur et à mesure de leur analyse ; cliquez sur Arrêter à tout moment pour conserver les résultats obtenus.
- Cliquez sur un filtre de problème, comme Titre en double ou H1 manquant, pour n'afficher que les pages concernées.
- Exportez l'exploration complète au format CSV pour planifier vos corrections ou la partager avec votre équipe.
Qu'est-ce qu'un crawler de site web ?
Un crawler de site web (ou robot d'exploration) fonctionne comme un robot de moteur de recherche : il charge une page de départ, collecte les liens internes, visite ces pages, récupère leurs liens, et ainsi de suite. Au passage, il enregistre le code de statut de chaque page ainsi que les éléments SEO on-page. Les problèmes qui se répètent sur de nombreuses URL, comme les titres en double, les descriptions manquantes ou les modèles de page défectueux, deviennent ainsi visibles en un coup d'œil.
Fonctionnement de ce crawler
- Il part de l'URL que vous saisissez et suit les liens
<a href>qui restent sur le même domaine (avec ou sanswww). - Jusqu'à quatre pages sont récupérées simultanément, ce qui limite la charge sur votre serveur.
- Les fichiers tels que les PDF, images, vidéos et archives sont ignorés ; seules les pages HTML sont analysées.
- Il lit le HTML brut renvoyé par votre serveur. Les liens qui n'apparaissent qu'après l'exécution de JavaScript ne sont pas détectés : si votre exploration s'arrête à une seule page, votre navigation est probablement générée côté client.
- Il respecte le fichier robots.txt : il s'identifie comme
DevPackBot, applique les règles destinées àDevPackBot(ou*à défaut de groupe spécifique), signale les URL bloquées comme « Bloqué par robots.txt » sans les récupérer, et tient compte deCrawl-delay(jusqu'à 5 secondes) en récupérant une page à la fois. Si robots.txt renvoie une erreur serveur, il n'explore pas le site, conformément à la RFC 9309. Pour savoir comment Googlebot ou d'autres robots sont traités, utilisez le Testeur robots.txt. - Il découvre les pages uniquement via les liens. Les pages présentes seulement dans votre sitemap ne sont pas visitées : comparez avec le Validateur de sitemap.
Problèmes signalés par le crawler
| Problème | Pourquoi c'est important | Correction courante |
|---|---|---|
| Page cassée | Impasses pour les utilisateurs et budget d'exploration gaspillé | Restaurer la page ou la rediriger en 301, puis mettre à jour les liens |
| Redirection | Les liens internes qui passent par une redirection ralentissent la navigation | Pointer directement vers l'URL finale |
| Titre manquant / en double | Le titre est le principal signal de classement et de clic dans les résultats de recherche | Rédiger un titre unique de 30 à 60 caractères par page |
| Description manquante / en double | Google peut générer un extrait de moins bonne qualité | Rédiger un résumé unique d'environ 120 à 160 caractères |
| H1 manquant / multiple | Sujet principal peu clair pour les utilisateurs et les lecteurs d'écran | Utiliser un seul H1 descriptif par page |
| Noindex | La page est exclue des résultats de recherche | Supprimer la balise si la page doit être positionnée |
| Contenu pauvre | Moins de 300 mots répondent rarement complètement à une requête | Enrichir, fusionner ou passer en noindex les pages à faible valeur |
| Images sans attribut alt | Accessibilité et recherche d'images | Ajouter un texte alternatif descriptif (utiliser alt="" pour les images décoratives) |
| Page lente | Plus de 1,5 s pour télécharger le HTML pénalise toutes les autres métriques | Mise en cache, CDN, modèles plus légers |
Le nombre de mots comprend tout le texte visible du corps de la page, y compris la navigation et le pied de page. Considérez donc la mention « contenu pauvre » comme une invitation à vérifier plutôt que comme un verdict.
Conseils pour une exploration utile
Commencez par une limite réduite pour vérifier que le crawler suit bien votre navigation, puis lancez une exploration plus large. Corrigez les problèmes par modèle plutôt que page par page : un seul motif de titre erroné explique souvent des centaines de doublons. Pour analyser en détail une URL, utilisez le Vérificateur SEO ; pour contrôler tous les liens d'une page, utilisez le Vérificateur de liens cassés.
Aussi recherché comme : crawler seo, audit de site, robot d'exploration, explorer un site web, audit seo technique, titres en double, alternative screaming frog, crawler de site.
Outils complémentaires : Crawler de site web
- Générateur de sitemap — Explorez votre site web et obtenez un sitemap.xml propre, qui ne contient que les pages méritant d’être indexées (statut 200, sans noindex, canonique vers elles-mêmes), avec la liste de chaque URL exclue et la raison de son exclusion.
- Vérificateur de balises meta — Voyez précisément comment Google est susceptible d’afficher votre page : title et description mesurés en pixels, aperçus desktop et mobile, et toutes les balises meta de l’<head>.
- Vérificateur de titres — Visualisez le plan des titres de n'importe quelle page.
- Guide explicatif sur le fichier robots.txt — Les règles du fichier robots.txt sont courtes, mais on peut facilement se tromper en les interprétant.
Questions fréquentes
Le crawler exécute-t-il JavaScript ?
Non. Il analyse le HTML envoyé par votre serveur, qui est aussi ce que les moteurs de recherche voient en premier. Les pages et liens qui n'existent qu'après un rendu côté client ne seront pas trouvés.
Combien de pages puis-je explorer ?
Jusqu'à 100 pages par exploration. Choisissez une limite plus basse pour un contrôle rapide ; vous pouvez arrêter une exploration à tout moment et exporter malgré tout les données collectées.
Le crawler respecte-t-il robots.txt ?
Oui. Il explore en tant que DevPackBot et applique les règles robots.txt destinées à DevPackBot (ou au groupe *), ignore les URL interdites et tient compte de Crawl-delay. Si vous souhaitez le bloquer, ajoutez « User-agent: DevPackBot » suivi de « Disallow: / ».
Pourquoi le crawler trouve-t-il moins de pages que mon site n'en contient ?
Le crawler ne trouve que les pages liées depuis d'autres pages explorées. Les pages orphelines (présentes uniquement dans votre sitemap), les liens ajoutés par JavaScript et les liens vers d'autres sous-domaines ne sont pas suivis. Comparez avec votre sitemap grâce au Validateur de sitemap.
L'exploration ralentit-elle mon site web ?
Le crawler récupère au maximum quatre pages à la fois (une seule si votre robots.txt définit un Crawl-delay), ce qui équivaut à un visiteur naviguant rapidement. Chaque exploration est limitée à 100 pages.
Est-ce un remplacement des crawlers de bureau comme Screaming Frog ?
Il couvre les contrôles on-page et de statut les plus courants sans rien installer, ce qui convient parfaitement aux audits rapides. Pour les très grands sites, le rendu JavaScript ou l'extraction personnalisée, un crawler de bureau dédié reste le meilleur choix.