Como usar: Testador de Robots.txt
- Digite a URL do seu site. Para testar uma página específica, digite a URL completa ou o caminho (ex.:
/checkout?step=2) no campo de caminho. - Escolha um user-agent como Googlebot, Bingbot ou GPTBot — ou digite qualquer outro.
- Clique em Testar para ver se o caminho está liberado ou bloqueado, qual regra foi aplicada e como outros crawlers são tratados.
- Edite o robots.txt no editor e clique em Testar versão editada para experimentar mudanças com segurança. Depois, copie ou baixe o resultado.
O que é um testador de robots.txt?
O robots.txt é um arquivo de texto simples na raiz de um host (https://example.com/robots.txt) que indica aos crawlers quais caminhos eles podem requisitar. Um testador busca esse arquivo, interpreta-o da mesma forma que os buscadores fazem e responde com precisão a uma pergunta: este crawler pode acessar esta URL? Como o Google desativou o Testador de robots.txt do Search Console em 2023, uma ferramenta independente é a forma mais rápida de conferir as regras antes e depois de publicar.
Como as regras são comparadas
A correspondência segue o comportamento documentado pelo Google e o padrão de exclusão de robôs (RFC 9309):
- Escolha o grupo. Um crawler obedece apenas ao grupo cujo
User-agentcorresponde a ele de forma mais específica. Se oGooglebottiver um grupo próprio, as regras deUser-agent: *são totalmente ignoradas para ele. - Encontre as regras correspondentes. Cada caminho de
AlloweDisallowé comparado desde o início do caminho da URL, incluindo a query string.*corresponde a qualquer sequência de caracteres e$marca o fim do caminho. - Vence a correspondência mais longa. A regra com o caminho mais longo decide. Se Allow e Disallow tiverem o mesmo tamanho, Allow vence. Sem nenhuma regra correspondente, o acesso é permitido.
| Regra | Bloqueia | Não bloqueia |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (caminhos diferenciam maiúsculas de minúsculas) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Qualquer URL com query string | /shop/shoes |
Disallow: (vazio) | Nada | Tudo é permitido |
Erros comuns no robots.txt
- Um
Disallow: /esquecido de um site de homologação, que bloqueia o site inteiro depois do lançamento. - Bloquear CSS e JavaScript, o que impede o Google de renderizar suas páginas corretamente.
- Usar o robots.txt para remover páginas do Google. O Disallow impede o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados se outros sites linkarem para ela. Use uma meta tag ou cabeçalho
noindexe deixe a página rastreável. - Esquecer que cada host precisa do seu próprio arquivo:
shop.example.comnão usa o robots.txt dewww.example.com.
Precisa de um arquivo novo? Crie um com o Gerador de Robots.txt e veja como os bots de IA são tratados com o Verificador de Crawlers de IA.
Também pesquisado como: testador robots.txt, verificador robots.txt, validador robots.txt, url bloqueada robots.txt, googlebot bloqueado, teste de disallow, teste de rastreamento, user-agent.
Ferramentas que combinam com: Testador de Robots.txt
- Validador de Sitemap — Encontre e valide seu sitemap XML — quantidade de URLs, filhos de sitemap index, cobertura de lastmod, duplicados e URLs de outro domínio — e confira se as páginas listadas realmente retornam 200.
- Rastreador de Site — Comece pela sua página inicial e rastreie até 100 páginas internas para descobrir problemas de SEO em todo o site — páginas quebradas, títulos duplicados, descrições ausentes, problemas de H1, tags noindex e páginas lentas — em um único relatório ao vivo.
- Verificador de SEO e Auditoria de Site — Cole uma URL para fazer até 70 verificações de SEO na página, além de uma auditoria completa do site: velocidade do Lighthouse, cabeçalhos de segurança e SSL, dados estruturados, links quebrados, robots.txt e rastreadores de IA, noções básicas de acessibilidade, rastreamento e consentimento, SPF/DKIM/DMARC e validade do domínio — tudo reunido em uma única pontuação do site com correções priorizadas.
- Guia explicativo sobre o robots.txt — As regras do robots.txt são curtas, mas fáceis de interpretar mal.
Perguntas frequentes
O Disallow remove uma página do Google?
Não. O Disallow apenas impede o rastreamento. Uma URL bloqueada ainda pode ser indexada (geralmente sem trecho de descrição) se estiver linkada em outro lugar. Para remover uma página, libere o rastreamento e adicione
noindex.Quem vence: Allow ou Disallow?
O caminho correspondente mais específico (o mais longo) vence. Se uma regra Allow e uma Disallow tiverem o mesmo tamanho, o Google aplica a regra Allow, que é a menos restritiva.
O robots.txt diferencia maiúsculas de minúsculas?
Os caminhos, sim:
Disallow: /Admin não bloqueia /admin. Nomes de diretivas como disallow e nomes de user-agent não diferenciam maiúsculas de minúsculas.Onde o robots.txt precisa estar?
Na raiz de cada host e protocolo, por exemplo
https://www.example.com/robots.txt. Arquivos em subpastas são ignorados, e cada subdomínio precisa do seu próprio.O Google suporta Crawl-delay?
Não. O Googlebot ignora o
Crawl-delay; o Bing e alguns outros crawlers o respeitam. Se o Googlebot estiver rastreando rápido demais, seu servidor pode retornar temporariamente respostas 503 ou 429.