Como usar: Verificador de Crawlers de IA
- Digite seu domínio ou a URL de qualquer página.
- Clique em Verificar crawlers de IA (ou pressione Ctrl+Enter).
- Leia o veredito: você está visível para buscadores e assistentes de IA, e permite o treinamento dos modelos?
- Escolha uma política na caixa do trecho — por exemplo, Bloquear treinamento, permitir busca — copie as regras para o seu robots.txt e rode a verificação de novo depois de publicar.
O que é um verificador de crawlers de IA?
As empresas de IA enviam seus próprios bots para buscar conteúdo da web — para treinar modelos de linguagem, para montar o índice por trás das respostas de busca com IA ou para carregar uma página sobre a qual o usuário perguntou a um assistente. Cada bot tem um token de user-agent próprio, que você pode permitir ou bloquear no robots.txt. Este verificador lê o seu robots.txt, aplica as mesmas regras de correspondência que um crawler usaria e mostra o resultado para 18 user-agents de IA, junto com o seu arquivo llms.txt e quaisquer diretivas noai.
Bots de treinamento, de busca e acionados pelo usuário
| Tipo | Exemplos | O que o bloqueio faz |
|---|---|---|
| Treinamento | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Pede à empresa que não use o seu conteúdo para treinar modelos futuros |
| Busca com IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Pode remover suas páginas das respostas e citações em produtos de busca com IA |
| Busca do usuário | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Impede que assistentes abram sua página quando um usuário pedir isso |
São decisões independentes. Muitos editores bloqueiam os bots de treinamento, mas mantêm liberados os bots de busca e de usuário, para que o conteúdo ainda possa ser citado — com link — nas respostas de IA.
Bloquear o treinamento e continuar visível
Liste os bots de treinamento em um grupo com Disallow: / e os bots de busca em outro grupo com Allow: /. Lembre que um crawler que corresponde a um grupo nomeado ignora completamente o seu grupo User-agent: *, então copie para os grupos nomeados as regras Disallow que ainda forem necessárias (como /admin/). O gerador abaixo dos resultados escreve isso para você; para um arquivo completo, use o Gerador de Robots.txt.
Google-Extended é um token de controle, e não um crawler separado: ele define se o conteúdo buscado pelo Googlebot pode ser usado para treinar e fundamentar o Gemini. O Google afirma que ele não afeta a indexação nem o ranqueamento na Busca Google, então bloqueá-lo não tira você dos resultados de busca.
O que é llms.txt?
O llms.txt é uma convenção proposta em 2024 para um arquivo Markdown em /llms.txt que oferece aos modelos de linguagem uma visão geral concisa do site, com links para as páginas mais úteis; o /llms-full.txt pode conter o texto completo. Não é um padrão e o suporte pelos provedores de IA ainda é limitado, mas custa pouco para adicionar. Crie um com o Gerador de llms.txt.
Limitações
O robots.txt é um protocolo voluntário. As principais empresas de IA dizem que seus crawlers o respeitam, mas ele não consegue, tecnicamente, impedir um bot que o ignore, e não afeta conteúdo que já foi coletado. Para aplicar o bloqueio de fato, você precisa de bloqueio de bots no servidor ou no CDN. Use o Testador de Robots.txt para verificar as regras de qualquer outro user-agent.
Também pesquisado como: gptbot, claudebot, bloquear crawlers de ia, bots de ia robots.txt, verificador llms.txt, google-extended, perplexitybot, crawler do chatgpt.
Ferramentas que combinam com: Verificador de Crawlers de IA
- Verificador de SEO e Auditoria de Site — Cole uma URL para fazer até 70 verificações de SEO na página, além de uma auditoria completa do site: velocidade do Lighthouse, cabeçalhos de segurança e SSL, dados estruturados, links quebrados, robots.txt e rastreadores de IA, noções básicas de acessibilidade, rastreamento e consentimento, SPF/DKIM/DMARC e validade do domínio — tudo reunido em uma única pontuação do site com correções priorizadas.
- Rastreador de Site — Comece pela sua página inicial e rastreie até 100 páginas internas para descobrir problemas de SEO em todo o site — páginas quebradas, títulos duplicados, descrições ausentes, problemas de H1, tags noindex e páginas lentas — em um único relatório ao vivo.
- Guia explicativo sobre o robots.txt — As regras do robots.txt são curtas, mas fáceis de interpretar mal.
- IndexNow Submitter — Avise os buscadores sobre páginas novas e atualizadas na hora.
Perguntas frequentes
Bloquear o GPTBot tira meu site do ChatGPT?
Bloquear o Google-Extended me tira dos Resumos de IA?
nosnippet.Os crawlers de IA obedecem ao robots.txt?
O que é a meta tag noai?
noai e noimageai são valores não padronizados para a meta tag robots ou para o cabeçalho X-Robots-Tag, introduzidos por algumas plataformas de arte para sinalizar que não querem o uso em treinamento de IA. Os principais crawlers de IA não oficializam o suporte a eles, então o robots.txt é um sinal mais confiável.