Como usar: Gerador de Robots.txt
- Clique em uma predefinição para começar: “Permitir tudo” para a maioria dos sites, “WordPress” ou “Estilo Shopify” para essas plataformas, ou “Bloquear tudo” para um site de staging.
- Adicione regras Disallow e Allow para cada grupo de user-agent. Os caminhos começam com
/; o*corresponde a qualquer sequência de caracteres e o$marca o fim da URL. - Se quiser, adicione “+ Bloquear bots de treinamento de IA” para sair do treinamento de modelos sem bloquear os crawlers de busca tradicionais.
- Informe suas URLs de sitemap, revise os avisos e depois baixe o
robots.txte envie para a raiz do seu domínio (ex.:https://example.com/robots.txt). Valide com o Testador de Robots.txt.
O que é o robots.txt?
robots.txt é um arquivo de texto simples na raiz de um host (https://www.example.com/robots.txt) que indica quais URLs os crawlers podem acessar. Ele segue o Robots Exclusion Protocol, padronizado como RFC 9309 em 2022. Cada grupo começa com uma ou mais linhas User-agent, seguidas de regras Allow e Disallow. Um crawler obedece apenas ao grupo mais específico que corresponde ao seu nome e, se nenhum corresponder, usa User-agent: *.
Como as regras são comparadas
- As regras comparam caminhos de URL pelo prefixo:
Disallow: /adminbloqueia/admin,/admin/e/administrator. Use/admin/para bloquear apenas a pasta. *corresponde a qualquer sequência de caracteres e$marca o fim:Disallow: /*.pdf$bloqueia todos os PDFs.- Quando Allow e Disallow correspondem ao mesmo caminho, o Google aplica a regra mais longa (mais específica); em caso de empate, Allow vence.
- Um
Disallow:vazio significa “permitir tudo”.Disallow: /bloqueia o site inteiro.
Bloqueando crawlers de IA
As empresas de IA usam user-agents separados para treinamento de modelos, indexação de busca e buscas disparadas pelo usuário. Assim, você pode sair do treinamento sem desaparecer das respostas de busca com IA:
| User-agent | Operador | Finalidade |
|---|---|---|
| GPTBot | OpenAI | Dados de treinamento |
| OAI-SearchBot / ChatGPT-User | OpenAI | Busca do ChatGPT / páginas solicitadas pelo usuário |
| ClaudeBot | Anthropic | Dados de treinamento |
| Claude-SearchBot / Claude-User | Anthropic | Busca / páginas solicitadas pelo usuário |
| Google-Extended | Token de controle para treinamento e fundamentação do Gemini — não afeta a Pesquisa Google | |
| Applebot-Extended | Apple | Token de controle para treinamento de IA da Apple |
| CCBot | Common Crawl | Corpus aberto da web, muito usado em treinamento |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Dados de treinamento |
| PerplexityBot / Perplexity-User | Perplexity | Índice de busca / páginas solicitadas pelo usuário |
O cumprimento é voluntário: crawlers idôneos respeitam o robots.txt, mas ele não é um controle de acesso. Para conteúdo que precisa ficar privado, use autenticação ou regras de firewall. Veja o que seu site publicado permite atualmente com o Verificador de Crawlers de IA.
Erros a evitar
- Usar o robots.txt para remover páginas do índice. Uma URL bloqueada ainda pode ser indexada (sem trecho) se outros sites linkarem para ela. Use a meta tag
noindex— e não bloqueie essa página, senão o Google não consegue ler a tag. - Bloquear CSS e JavaScript. O Google renderiza as páginas; bloquear
/assets/ou/wp-includes/pode fazer as páginas parecerem quebradas para ele. - Depender do Crawl-delay. O Bing e o Yandex respeitam a diretiva; o Googlebot a ignora.
- Subir para produção o arquivo de staging. Um
Disallow: /esquecido é uma das causas mais comuns de quedas repentinas de tráfego após um lançamento.
Também pesquisado como: robots.txt, bloquear gptbot, bloquear crawlers de ia, disallow, user-agent, crawl-delay, arquivo robots.txt, robots.txt webflow.
Ferramentas que combinam com: Gerador de Robots.txt
- Gerador de Sitemap — Rastreie seu site e gere um sitemap.xml limpo, com apenas as páginas que merecem ser indexadas: status 200, sem noindex e canônicas para si mesmas.
- Gerador de llms.txt — Escreva um arquivo llms.txt que oferece aos assistentes de IA um mapa curado do seu site em Markdown — nome do projeto, resumo, páginas principais e extras opcionais — seguindo a proposta do llmstxt.org.
- Validador de Sitemap — Encontre e valide seu sitemap XML — quantidade de URLs, filhos de sitemap index, cobertura de lastmod, duplicados e URLs de outro domínio — e confira se as páginas listadas realmente retornam 200.
- Gerador de Meta Tags — Preencha um único formulário e obtenha um <head> completo e válido — título, descrição, canonical, robots, Open Graph, cards do X/Twitter, cor do tema e ícones — com prévias ao vivo e saída específica para o Webflow.
Perguntas frequentes
Onde eu envio o robots.txt?
Na raiz de cada host, por exemplo
https://www.example.com/robots.txt. Subdomínios precisam de um arquivo próprio. No Webflow, cole o conteúdo em Configurações do site › SEO › robots.txt; no Shopify, edite o template de tema robots.txt.liquid.Bloquear o GPTBot remove meu site do ChatGPT?
Bloquear o GPTBot impede a OpenAI de usar suas páginas para treinamento. A busca do ChatGPT usa o OAI-SearchBot, e as buscas disparadas pelo usuário usam o ChatGPT-User. Bloqueie esses também apenas se quiser ficar fora das respostas do ChatGPT.
O Google-Extended afeta meu ranqueamento no Google?
Não. O Google-Extended é apenas um token de controle para treinamento e fundamentação do Gemini. O Googlebot continua rastreando e ranqueando suas páginas normalmente.
O robots.txt pode tirar uma página do Google?
Não de forma confiável. Ele impede o rastreamento, não a indexação. Para remover uma página dos resultados, permita o rastreamento e adicione
<meta name="robots" content="noindex">, ou use proteção por senha.Como testo meu robots.txt?
Cole o conteúdo no Testador de Robots.txt para verificar se uma URL está liberada para o Googlebot, o Bingbot ou crawlers de IA antes de publicar.
Posso instalar o Gerador de Robots.txt como um aplicativo da web e usá-lo offline?
Sim. O Gerador de Robots.txt é um aplicativo da web instalável (PWA) — instalado a partir do seu navegador, não baixado de uma loja de aplicativos. Clique em “Instalar aplicativo” na parte superior desta página no Chrome ou no Edge (Windows, macOS, Linux, ChromeOS) ou, no Android, use “Compartilhar” → “Adicionar à tela inicial” no iPhone e no iPad, ou “Arquivo” → “Adicionar ao Dock” no Safari 17+ em um Mac. Em seguida, ela se abre em uma janela própria com seu próprio ícone e, como é executada inteiramente no seu navegador, continua funcionando offline. O Firefox no desktop não permite a instalação de aplicativos da web. Como funciona a instalação.