Como usar: Guia explicativo sobre o robots.txt
- Digite o endereço de um site e clique em “Buscar robots.txt” ou cole o conteúdo do arquivo diretamente.
- Dá uma olhada na explicação de cada grupo de user-agent — o que é bloqueado, o que é permitido como exceção e quais caracteres curinga se aplicam.
- Dá uma olhada na lista de problemas: CSS/JS bloqueados, um
Disallow: /, linhasnoindexe muito mais. - Teste URLs específicas com um rastreador para ver exatamente qual regra é aplicada.
Como os rastreadores interpretam o arquivo robots.txt
- Escolha um grupo — um rastreador usa o grupo cujo
User-agentmais se encaixe no nome dele, e só esse grupo. O Googlebot ignora o*grupo se umGooglebotexistir um grupo. - Encontre regras correspondentes —
DisalloweAllowos valores são prefixos de caminho.*corresponde a qualquer caractere,$marca o fim da URL. - A regra mais longa prevalece — a regra de correspondência mais específica (a mais longa) é a que decide. Se uma regra “Allow” e uma “Disallow” tiverem o mesmo comprimento, a “Allow” prevalece (Google e RFC 9309).
| Regra | Significado |
|---|---|
Disallow: / | Bloquear o site inteiro |
Disallow: (vazio) | Não bloquear nada |
Disallow: /admin/ | Bloquear tudo na pasta /admin/ |
Disallow: /admin | Também bloqueia /admin-login e /administrator |
Disallow: /*.pdf$ | Bloquear URLs que terminam em .pdf |
Disallow: /*? | Bloqueia qualquer URL com uma string de consulta |
O que o robots.txt não consegue fazer
Ele controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer no Google se outras páginas tiverem links para ela — use uma noindex meta tag (e permita o rastreamento para que o Google possa vê-la). Noindex: As linhas dentro do robots.txt são ignoradas pelo Google desde 2019, e Crawl-delay é ignorado pelo Google (o Bing e o Yandex respeitam essa regra).
Crie um novo arquivo com o Gerador de robots.txt, teste um site ativo com o Testador de robots.txt, verifique os bots de IA com o Verificador de Rastreamento de IA e valide os mapas do site que você listar com o Validador de Mapas do Site.
Também pesquisado como: explicação sobre o robots.txt, o arquivo robots.txt explicado, verificador de robots.txt, o que significa o arquivo robots.txt?, explicação sobre o comando “disallow” no robots.txt, caractere curinga no robots.txt, regras do robots.txt, entenda o robots.txt.
Ferramentas que combinam com: Guia explicativo sobre o robots.txt
- Meta Tag Checker — See exactly how Google is likely to display your page: title and description measured in pixels, desktop and mobile previews, and every meta tag in the <head>.
- Verificador de SEO e Auditoria de Site — Cole uma URL para fazer até 70 verificações de SEO na página, além de uma auditoria completa do site: velocidade do Lighthouse, cabeçalhos de segurança e SSL, dados estruturados, links quebrados, robots.txt e rastreadores de IA, noções básicas de acessibilidade, rastreamento e consentimento, SPF/DKIM/DMARC e validade do domínio — tudo reunido em uma única pontuação do site com correções priorizadas.
- IndexNow Submitter — Tell search engines about new and updated pages instantly.
- Redirect Mapper — Migrating or redesigning a site?
Perguntas frequentes
O comando “Disallow” remove uma página do Google?
Não. A tag “noindex” impede o rastreamento, mas a URL ainda pode ser indexada a partir de links (exibida sem descrição). Para remover uma página, permita o rastreamento e adicione uma meta tag “noindex” ou um cabeçalho X-Robots-Tag.
O que significa o símbolo $ no arquivo robots.txt?
Isso define o final da URL. O comando “Disallow: /*.pdf$” bloqueia /files/report.pdf, mas não /files/report.pdf?download=1.
Se “Permitir” e “Proibir” forem ambos aplicáveis, qual prevalece?
A regra de correspondência mais longa (mais específica). Quando ambas têm o mesmo comprimento, a opção “Permitir” prevalece para o Google e para os rastreadores que seguem a RFC 9309.
Devo bloquear CSS e JavaScript?
Não. O Google exibe as páginas como um navegador; bloquear arquivos CSS ou JS pode fazer com que as páginas pareçam com erros para o Googlebot e prejudicar as classificações, principalmente no que diz respeito à compatibilidade com dispositivos móveis.
Posso instalar o Guia explicativo sobre o robots.txt como um aplicativo da web e usá-lo offline?
Sim. O Guia explicativo sobre o robots.txt é um aplicativo da web instalável (PWA) — instalado a partir do seu navegador, não baixado de uma loja de aplicativos. Clique em “Instalar aplicativo” na parte superior desta página no Chrome ou no Edge (Windows, macOS, Linux, ChromeOS) ou, no Android, use “Compartilhar” → “Adicionar à tela inicial” no iPhone e no iPad, ou “Arquivo” → “Adicionar ao Dock” no Safari 17+ em um Mac. Em seguida, ela se abre em uma janela própria com seu próprio ícone e, como é executada inteiramente no seu navegador, continua funcionando offline. O Firefox no desktop não permite a instalação de aplicativos da web. Como funciona a instalação.