Cómo usar: Probador de Robots.txt
- Introduce la URL de tu sitio. Para probar una página concreta, escribe su URL completa o la ruta (por ejemplo,
/checkout?step=2) en el campo de ruta. - Elige un user-agent como Googlebot, Bingbot o GPTBot, o escribe cualquier otro.
- Haz clic en Probar para ver si la ruta está permitida o bloqueada, qué regla se ha aplicado y cómo tratan la ruta otros rastreadores.
- Edita el robots.txt en el editor y haz clic en Probar versión editada para probar cambios sin riesgo. Después, copia o descarga el resultado.
¿Qué es un probador de robots.txt?
robots.txt es un archivo de texto plano en la raíz de un host (https://example.com/robots.txt) que indica a los rastreadores qué rutas pueden solicitar. Un probador descarga ese archivo, lo analiza igual que lo hacen los buscadores y responde a una pregunta concreta: ¿puede este rastreador acceder a esta URL? Como Google retiró el probador de robots.txt de Search Console en 2023, una herramienta independiente es la forma más rápida de comprobar las reglas antes y después de publicar cambios.
Cómo se aplican las reglas
La coincidencia sigue el comportamiento documentado por Google y el estándar de exclusión de robots (RFC 9309):
- Elige el grupo. Un rastreador solo obedece el grupo cuyo
User-agentcoincide con él de forma más específica. SiGooglebottiene su propio grupo, las reglas deUser-agent: *se ignoran por completo para él. - Busca las reglas coincidentes. Cada ruta de
AllowyDisallowse compara desde el inicio de la ruta de la URL, incluida la cadena de consulta.*coincide con cualquier carácter y$fija el final. - Gana la coincidencia más larga. La regla con la ruta más larga decide. Si un Allow y un Disallow tienen la misma longitud, gana Allow. Si no hay ninguna regla que coincida, la ruta está permitida.
| Regla | Bloquea | No bloquea |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (las rutas distinguen mayúsculas y minúsculas) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Cualquier URL con cadena de consulta | /shop/shoes |
Disallow: (vacía) | Nada | Todo está permitido |
Errores habituales en robots.txt
- Un
Disallow: /olvidado de un entorno de pruebas, que bloquea todo el sitio tras el lanzamiento. - Bloquear CSS y JavaScript, lo que impide que Google renderice bien tus páginas.
- Usar robots.txt para eliminar páginas de Google. Disallow impide el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en los resultados si otros sitios enlazan a ella. Usa una etiqueta meta o una cabecera
noindexy deja la página rastreable. - Olvidar que cada host necesita su propio archivo:
shop.example.comno usa el robots.txt dewww.example.com.
¿Necesitas un archivo nuevo? Créalo con el Generador de Robots.txt y revisa cómo tratan los bots de IA con el Comprobador de rastreadores de IA.
También se busca como: comprobador robots.txt, validador robots.txt, ¿está bloqueada una url?, probar disallow, googlebot bloqueado, test robots txt, prueba de rastreo, user-agent.
Herramientas que combinan con: Probador de Robots.txt
- Validador de Sitemap — Encuentra y valida tu sitemap XML: número de URLs, sitemaps hijos del índice, cobertura de lastmod, duplicados y URLs de otro host.
- Rastreador web — Empieza desde tu página de inicio y rastrea hasta 100 páginas internas para descubrir problemas SEO en todo el sitio: páginas rotas, títulos duplicados, descripciones ausentes, errores de H1, etiquetas noindex y páginas lentas, todo en un solo informe en vivo.
- Verificador SEO y auditoría del sitio web — Pega una URL para realizar hasta 70 comprobaciones de SEO on-page, además de una auditoría completa del sitio web: velocidad de Lighthouse, encabezados de seguridad y SSL, datos estructurados, enlaces rotos, robots.txt y rastreadores de IA, aspectos básicos de accesibilidad, seguimiento y consentimiento, SPF/DKIM/DMARC y caducidad del dominio — todo ello resumido en una puntuación global del sitio web con soluciones priorizadas.
- Guía sobre el archivo robots.txt — Las reglas de robots.txt son breves, pero es fácil malinterpretarlas.
Preguntas frecuentes
¿Disallow elimina una página de Google?
No. Disallow solo impide el rastreo. Una URL bloqueada puede seguir indexada (normalmente sin fragmento) si otros sitios la enlazan. Para eliminar una página, permite el rastreo y añade
noindex.¿Qué gana: Allow o Disallow?
Gana la ruta coincidente más específica (la más larga). Si una regla Allow y una Disallow tienen la misma longitud, Google aplica la regla Allow, que es la menos restrictiva.
¿robots.txt distingue mayúsculas y minúsculas?
Las rutas sí:
Disallow: /Admin no bloquea /admin. Los nombres de las directivas como disallow y los nombres de user-agent no distinguen mayúsculas y minúsculas.¿Dónde tiene que estar robots.txt?
En la raíz de cada host y protocolo, por ejemplo
https://www.example.com/robots.txt. Los archivos en subcarpetas se ignoran, y cada subdominio necesita el suyo.¿Google admite Crawl-delay?
No. Googlebot ignora
Crawl-delay; Bing y algunos otros rastreadores sí lo respetan. Si Googlebot rastrea demasiado rápido, tu servidor puede devolver temporalmente respuestas 503 o 429.