Comment utiliser : Vérificateur de crawlers IA
- Saisissez votre domaine ou l’URL d’une page quelconque.
- Cliquez sur Vérifier les crawlers IA (ou appuyez sur Ctrl+Entrée).
- Lisez le verdict : êtes-vous visible pour la recherche et les assistants IA, et autorisez-vous l’entraînement des modèles ?
- Choisissez une politique dans la zone d’extrait — par exemple Bloquer l’entraînement, autoriser la recherche — copiez les règles dans votre robots.txt, puis relancez la vérification après la mise en ligne.
Qu’est-ce qu’un vérificateur de crawlers IA ?
Les entreprises d’IA envoient leurs propres robots pour récupérer du contenu web : pour entraîner des modèles de langage, alimenter l’index des réponses de la recherche IA, ou charger une page sur laquelle un utilisateur a interrogé un assistant. Chaque robot possède un jeton user-agent propre que vous pouvez autoriser ou bloquer dans robots.txt. Ce vérificateur lit votre robots.txt, applique les mêmes règles de correspondance qu’un crawler et affiche le résultat pour 18 user-agents IA, ainsi que votre fichier llms.txt et les directives noai éventuelles.
Robots d’entraînement, de recherche et de récupération à la demande
| Type | Exemples | Effet du blocage |
|---|---|---|
| Entraînement | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Demande à l’entreprise de ne pas utiliser votre contenu pour l’entraînement futur de ses modèles |
| Recherche IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Peut retirer vos pages des réponses et des citations des produits de recherche IA |
| Récupération utilisateur | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Empêche les assistants d’ouvrir votre page lorsqu’un utilisateur le leur demande |
Ce sont des décisions indépendantes. De nombreux éditeurs bloquent les robots d’entraînement tout en autorisant ceux de recherche et de récupération utilisateur, afin que leur contenu puisse toujours être cité, avec un lien, dans les réponses IA.
Bloquer l’entraînement tout en restant visible
Regroupez les robots d’entraînement dans un même groupe avec Disallow: /, et les robots de recherche dans un autre avec Allow: /. Gardez à l’esprit qu’un crawler qui correspond à un groupe nommé ignore totalement votre groupe User-agent: * ; recopiez donc dans les groupes nommés les règles Disallow encore nécessaires (comme /admin/). Le générateur situé sous les résultats les écrit pour vous ; pour un fichier complet, utilisez le Générateur robots.txt.
Google-Extended est un jeton de contrôle et non un crawler distinct : il détermine si le contenu récupéré par Googlebot peut servir à l’entraînement et à l’ancrage de Gemini. Google indique qu’il n’affecte ni l’indexation ni le classement dans la recherche Google : le bloquer ne vous retirera donc pas des résultats de recherche.
Qu’est-ce que llms.txt ?
llms.txt est une convention proposée en 2024 : un fichier Markdown placé à /llms.txt qui donne aux modèles de langage un aperçu concis d’un site, avec des liens vers ses pages les plus utiles ; /llms-full.txt peut contenir le texte intégral. Ce n’est pas un standard, et la prise en charge par les fournisseurs d’IA reste limitée, mais son ajout ne coûte presque rien. Créez-en un avec le Générateur llms.txt.
Limites
robots.txt est un protocole volontaire. Les grandes entreprises d’IA affirment que leurs crawlers le respectent, mais il ne peut pas techniquement empêcher un robot qui l’ignore, et il n’affecte pas le contenu déjà collecté. Pour une protection effective, il faut un blocage côté serveur ou CDN. Utilisez le Testeur robots.txt pour vérifier les règles de n’importe quel autre user-agent.
Aussi recherché comme : gptbot, claudebot, bloquer les crawlers ia, bots ia robots.txt, vérificateur llms.txt, google-extended, perplexitybot, crawler chatgpt.
Outils complémentaires : Vérificateur de crawlers IA
- Analyse SEO et audit de site — Collez une URL pour effectuer jusqu’à 70 vérifications de référencement sur la page ainsi qu’un audit complet du site : vitesse Lighthouse, en-têtes de sécurité et SSL, données structurées, liens rompus, fichier robots.txt et robots d'exploration IA, principes de base de l'accessibilité, suivi et consentement, SPF/DKIM/DMARC et expiration du domaine — le tout regroupé en un score unique pour le site, accompagné de corrections classées par ordre de priorité.
- Crawler de site web — Partez de votre page d'accueil et explorez jusqu'à 100 pages internes pour détecter les problèmes SEO de tout le site : pages cassées, titres en double, descriptions manquantes, problèmes de H1, balises noindex et pages lentes, le tout dans un rapport en temps réel.
- Guide explicatif sur le fichier robots.txt — Les règles du fichier robots.txt sont courtes, mais on peut facilement se tromper en les interprétant.
- Soumission IndexNow — Prévenez instantanément les moteurs de recherche de vos pages nouvelles et mises à jour.
Questions fréquentes
Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Bloquer Google-Extended me retire-t-il des AI Overviews ?
nosnippet.Les crawlers IA respectent-ils robots.txt ?
Qu’est-ce que la balise meta noai ?
noai et noimageai sont des valeurs non standard pour la balise meta robots ou l’en-tête X-Robots-Tag, introduites par certaines plateformes artistiques pour signaler un refus de l’entraînement IA. Les grands crawlers IA ne les prennent pas formellement en charge : robots.txt est donc le signal le plus fiable.