Cómo usar: Guía sobre el archivo robots.txt
- Introduce una página web y haz clic en «Obtener robots.txt», o pega directamente el contenido del archivo.
- Lee la explicación de cada grupo de agentes de usuario: qué se bloquea, qué se permite como excepción y qué comodines se aplican.
- Echa un vistazo a la lista de problemas: CSS/JS bloqueados, un elemento
Disallow: /, líneas no compatiblesnoindexy otras cosas más. - Prueba con URL concretas en un rastreador para ver exactamente qué regla se aplica.
Cómo leen los rastreadores el archivo robots.txt
- Elige un grupo: un rastreador utiliza el grupo cuyo
User-agentmás se ajuste a su nombre, y solo ese grupo. Googlebot ignora el*grupo siGooglebotgrupo. - Busca las reglas que coincidan —
DisallowyAllowlos valores son prefijos de ruta.*coincide con cualquier carácter,$marca el final de la URL. - Gana la regla más larga: la regla de coincidencia más específica (la más larga) es la que decide. Si una regla «Allow» y una «Disallow» tienen la misma longitud, gana la «Allow» (Google y RFC 9309).
| Regla | Significado |
|---|---|
Disallow: / | Bloquear todo el sitio |
Disallow: (vacío) | No bloquear nada |
Disallow: /admin/ | Bloquear todo lo que esté bajo /admin/ |
Disallow: /admin | También bloquea /admin-login y /administrator |
Disallow: /*.pdf$ | Bloquear las URL que terminen en .pdf |
Disallow: /*? | Bloquea cualquier URL con una cadena de consulta |
Lo que el archivo robots.txt no puede hacer
Controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en Google si otras páginas enlazan a ella: usa una noindex etiqueta meta (y permite el rastreo para que Google pueda verla). Noindex: Las líneas dentro del archivo robots.txt las ignora Google desde 2019, y Crawl-delay Google las ignora (Bing y Yandex sí las respetan).
Crea un nuevo archivo con el generador de robots.txt, prueba un sitio web en vivo con el comprobador de robots.txt, comprueba los bots de IA con el verificador de rastreo de IA y valida los mapas de sitio que incluyas con el validador de mapas de sitio.
También se busca como: explicación del archivo robots.txt, comprobador de robots.txt, significado de «robots.txt», explicación de la directiva «disallow» en el archivo robots.txt, comodín en el archivo robots.txt, reglas del archivo robots.txt, entender el archivo robots.txt.
Herramientas que combinan con: Guía sobre el archivo robots.txt
- Meta Tag Checker — See exactly how Google is likely to display your page: title and description measured in pixels, desktop and mobile previews, and every meta tag in the <head>.
- Verificador SEO y auditoría del sitio web — Pega una URL para realizar hasta 70 comprobaciones de SEO on-page, además de una auditoría completa del sitio web: velocidad de Lighthouse, encabezados de seguridad y SSL, datos estructurados, enlaces rotos, robots.txt y rastreadores de IA, aspectos básicos de accesibilidad, seguimiento y consentimiento, SPF/DKIM/DMARC y caducidad del dominio — todo ello resumido en una puntuación global del sitio web con soluciones priorizadas.
- IndexNow Submitter — Tell search engines about new and updated pages instantly.
- Redirect Mapper — Migrating or redesigning a site?
Preguntas frecuentes
¿La función «Disallow» elimina una página de Google?
No. La etiqueta «noindex» impide el rastreo, pero la URL puede seguir indexándose a través de enlaces (y aparecerá sin descripción). Para eliminar una página, permite el rastreo y añade una metaetiqueta «noindex» o un encabezado «X-Robots-Tag».
¿Qué significa el símbolo $ en el archivo robots.txt?
Bloquea la parte final de la URL. «Disallow: /*.pdf$» bloquea «/files/report.pdf», pero no «/files/report.pdf?download=1».
Si «Permitir» y «Prohibir» coinciden, ¿cuál prevalece?
La regla de coincidencia más larga (más específica). Cuando ambas tienen la misma longitud, «Allow» tiene prioridad para Google y los rastreadores que siguen la norma RFC 9309.
¿Debería bloquear el CSS y el JavaScript?
No. Google muestra las páginas igual que un navegador; bloquear archivos CSS o JS puede hacer que las páginas se vean mal para Googlebot y perjudicar el posicionamiento, sobre todo en lo que respecta a la optimización para móviles.
¿Puedo instalar Guía sobre el archivo robots.txt como aplicación web y utilizarla sin conexión?
Sí. Guía sobre el archivo robots.txt es una aplicación web instalable (PWA): se instala desde el navegador, no se descarga desde una tienda de aplicaciones. Haz clic en «Instalar aplicación» en la parte superior de esta página en Chrome o Edge (Windows, macOS, Linux, ChromeOS) o, en Android, utiliza «Compartir» → «Añadir a la pantalla de inicio» en iPhone y iPad, o «Archivo» → «Añadir al Dock» en Safari 17+ en un Mac. A continuación, se abrirá en su propia ventana con su propio icono y, como se ejecuta íntegramente en tu navegador, seguirá funcionando sin conexión. Firefox en el ordenador de sobremesa no permite instalar aplicaciones web. Cómo funciona la instalación.