Cómo corregir problemas de robots.txt y sitemap
Un pequeño error en robots.txt puede ocultar todo un sitio en los buscadores. Un sitemap desordenado desperdicia el rastreo en páginas que no importan. Ambos problemas se arreglan rápido cuando conoces las reglas.
Qué hace robots.txt y qué no hace
El archivo está en https://example.com/robots.txt y indica a los rastreadores qué rutas deben omitir. Controla el rastreo, no la indexación. Una página bloqueada puede aparecer igualmente en los resultados si otros sitios enlazan a ella.
Para sacar una página de los resultados, usa una etiqueta noindex y deja que se pueda rastrear, porque Google debe leer la página para ver esa etiqueta.
Corrige las reglas que bloquean demasiado
Esta única línea bloquea un sitio entero, y a menudo se queda de una configuración de pruebas (staging):
User-agent: *
Disallow: /Un punto de partida seguro para la mayoría de los sitios se ve así:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlNo bloquees tu CSS ni tu JavaScript, porque Google los necesita para ver la página como la ven los visitantes. Prueba una dirección concreta con el probador de robots.txt, o crea un archivo limpio con el generador de robots.txt.
Crea un sitemap limpio
Un sitemap enumera las páginas que quieres que se encuentren. Solo debe contener direcciones que:
- devuelvan un estado
200, - sean la versión canónica de la página,
- no estén bloqueadas por robots.txt ni marcadas con
noindex.
Un sitemap puede tener hasta 50 000 direcciones o 50 MB, y los sitios más grandes lo dividen en varios con un archivo índice. Genera uno con el generador de sitemap si tu plataforma no lo crea por ti.
Corrige los errores más comunes
- “No se pudo leer el sitemap”: abre la dirección tú mismo. Debe devolver XML, no una página HTML ni un error.
- “URL enviada bloqueada por robots.txt”: elimina la regla o quita esa dirección del sitemap.
- “URL enviada no encontrada (404)”: tu sitemap está desactualizado, así que reconstrúyelo.
- Fechas incorrectas: cambia
lastmodsolo cuando una página realmente cambie. Google ignora las fechas en las que no puede confiar.
Revisa tu archivo con el validador de sitemap.
Avisa a los buscadores
Añade la línea Sitemap: en robots.txt y, después, envía la dirección en Google Search Console y en Bing Webmaster Tools. Luego revisa de vez en cuando sus informes para detectar errores nuevos.
