Como Corrigir Problemas de robots.txt e Sitemap
Um pequeno erro no robots.txt pode esconder um site inteiro da busca. Um sitemap bagunçado desperdiça o rastreamento em páginas que não importam. Os dois são rápidos de corrigir quando você entende as regras.
O que o robots.txt faz, e o que não faz
O arquivo fica em https://example.com/robots.txt e indica aos rastreadores quais caminhos devem ser ignorados. Ele controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer na busca se outros sites linkarem para ela.
Para tirar uma página dos resultados, use uma tag noindex e deixe-a rastreável, porque o Google precisa ler a página para ver essa tag.
Corrija regras que bloqueiam demais
Esta linha bloqueia um site inteiro, e muitas vezes ela sobra de uma configuração de homologação:
User-agent: *
Disallow: /Um ponto de partida seguro para a maioria dos sites é assim:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlNão bloqueie seu CSS nem seu JavaScript, porque o Google precisa deles para ver a página como os visitantes veem. Teste um endereço específico com o robots.txt Tester, ou crie um arquivo limpo com o robots.txt Generator.
Crie um sitemap limpo
Um sitemap lista as páginas que você quer que sejam encontradas. Ele deve conter apenas endereços que:
- retornem status
200, - sejam a versão canônica da página,
- não estejam bloqueados pelo robots.txt nem marcados com
noindex.
Um sitemap pode ter até 50.000 endereços ou 50 MB, e sites maiores o dividem em vários com um arquivo de índice. Gere um com o Sitemap Generator se sua plataforma não criar um automaticamente.
Corrija erros comuns
- “Não foi possível ler o sitemap”: abra o endereço você mesmo. Ele precisa retornar XML, não uma página HTML nem um erro.
- “URL enviada bloqueada pelo robots.txt”: remova a regra ou remova esse endereço do sitemap.
- “URL enviada não encontrada (404)”: seu sitemap está desatualizado, então gere-o novamente.
- Datas erradas: altere o
lastmodapenas quando a página realmente mudar. O Google ignora datas em que não pode confiar.
Verifique seu arquivo com o Sitemap Validator.
Avise os buscadores
Adicione a linha Sitemap: ao robots.txt e depois envie o endereço no Google Search Console e no Bing Webmaster Tools. Depois disso, confira os relatórios de vez em quando para ver se surgiram novos erros.
