Cómo usar: Generador de robots.txt
- Haz clic en una plantilla para empezar: “Permitir todo” para la mayoría de sitios, “WordPress” o “Estilo Shopify” para esas plataformas, o “Bloquear todo” para un sitio de staging.
- Añade reglas Disallow y Allow para cada grupo de user-agent. Las rutas empiezan con
/;*coincide con cualquier carácter y$marca el final de la URL. - Opcionalmente, añade “+ Bloquear bots de entrenamiento de IA” para excluirte del entrenamiento de modelos y seguir permitiendo los rastreadores de búsqueda habituales.
- Introduce tus URLs de sitemaps, revisa los avisos y descarga
robots.txtpara subirlo a la raíz de tu dominio (por ejemplo,https://example.com/robots.txt). Compruébalo con el Probador de Robots.txt.
¿Qué es robots.txt?
robots.txt es un archivo de texto plano en la raíz de un host (https://www.example.com/robots.txt) que indica a los rastreadores qué URLs pueden solicitar. Sigue el Robots Exclusion Protocol, estandarizado como RFC 9309 en 2022. Cada grupo empieza con una o varias líneas User-agent, seguidas de reglas Allow y Disallow; un rastreador obedece solo al grupo más específico que coincida con su nombre, y si no hay ninguno, usa User-agent: *.
Cómo se comparan las reglas
- Las reglas coinciden con las rutas de las URLs por prefijo:
Disallow: /adminbloquea/admin,/admin/y/administrator. Usa/admin/para bloquear solo la carpeta. *coincide con cualquier secuencia de caracteres y$marca el final:Disallow: /*.pdf$bloquea todos los PDF.- Cuando Allow y Disallow coinciden a la vez, Google aplica la regla más larga (más específica); en caso de empate, gana Allow.
- Un
Disallow:vacío significa “permitir todo”.Disallow: /bloquea todo el sitio.
Bloquear rastreadores de IA
Las empresas de IA usan user-agents distintos para el entrenamiento de modelos, la indexación de búsqueda y las peticiones iniciadas por el usuario, así que puedes excluirte del entrenamiento sin desaparecer de las respuestas de búsqueda con IA:
| User-agent | Operador | Finalidad |
|---|---|---|
| GPTBot | OpenAI | Datos de entrenamiento |
| OAI-SearchBot / ChatGPT-User | OpenAI | Búsqueda de ChatGPT / páginas solicitadas por el usuario |
| ClaudeBot | Anthropic | Datos de entrenamiento |
| Claude-SearchBot / Claude-User | Anthropic | Búsqueda / páginas solicitadas por el usuario |
| Google-Extended | Token de control para el entrenamiento y grounding de Gemini; no afecta a Google Search | |
| Applebot-Extended | Apple | Token de control para el entrenamiento de IA de Apple |
| CCBot | Common Crawl | Corpus web abierto muy usado para entrenamiento |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Datos de entrenamiento |
| PerplexityBot / Perplexity-User | Perplexity | Índice de búsqueda / páginas solicitadas por el usuario |
El cumplimiento es voluntario: los rastreadores serios respetan robots.txt, pero no es un control de acceso. Usa autenticación o reglas de firewall para todo lo que deba mantenerse privado. Consulta qué permite tu sitio en este momento con el Comprobador de rastreadores de IA.
Errores que debes evitar
- Usar robots.txt para desindexar páginas. Una URL bloqueada puede seguir indexándose (sin fragmento) si otros sitios enlazan a ella. Usa una metaetiqueta
noindexy no bloquees esa página, o Google no podrá ver la etiqueta. - Bloquear CSS y JavaScript. Google renderiza las páginas; bloquear
/assets/o/wp-includes/puede hacer que las veamos rotas. - Depender de Crawl-delay. Bing y Yandex lo respetan; Googlebot lo ignora.
- Subir a producción el archivo de staging. Un
Disallow: /olvidado es una de las causas más comunes de caídas repentinas de tráfico tras un lanzamiento.
También se busca como: generador robots.txt, robots.txt generator, bloquear gptbot, bloquear bots de ia, bloquear crawlers de ia, disallow, user-agent, crawl-delay.
Herramientas que combinan con: Generador de robots.txt
- Generador de Sitemap — Rastrea tu web y obtén un sitemap.xml limpio que contiene solo las páginas que merecen indexarse: estado 200, sin noindex y autocanónicas, con cada URL excluida y el motivo indicado.
- Generador de llms.txt — Escribe un llms.txt que ofrezca a los asistentes de IA un mapa en Markdown y bien seleccionado de tu sitio: nombre del proyecto, resumen, páginas clave y extras opcionales, siguiendo la propuesta de llmstxt.org.
- Validador de Sitemap — Encuentra y valida tu sitemap XML: número de URLs, sitemaps hijos del índice, cobertura de lastmod, duplicados y URLs de otro host.
- Generador de Meta Tags — Rellena un solo formulario y obtén un <head> completo y válido: título, descripción, canonical, robots, Open Graph, cards de X/Twitter, color del tema e iconos, con vistas previas en vivo y salida específica para Webflow.
Preguntas frecuentes
¿Dónde subo robots.txt?
En la raíz de cada host, por ejemplo
https://www.example.com/robots.txt. Los subdominios necesitan su propio archivo. En Webflow, pégalo en Configuración del sitio › SEO › robots.txt; en Shopify, edita la plantilla de tema robots.txt.liquid.¿Bloquear GPTBot elimina mi sitio de ChatGPT?
Bloquear GPTBot impide que OpenAI use tus páginas para entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot y las peticiones iniciadas por el usuario usan ChatGPT-User, así que bloquéalos también solo si quieres quedar fuera de las respuestas de ChatGPT.
¿Google-Extended afecta a mis posiciones en Google?
No. Google-Extended es solo un token de control para el entrenamiento y grounding de Gemini; Googlebot sigue rastreando e indexando tus páginas con normalidad.
¿Puede robots.txt sacar una página de Google?
No de forma fiable. Impide el rastreo, no la indexación. Para eliminar una página de los resultados, permite el rastreo y añade
<meta name="robots" content="noindex">, o protege la página con contraseña.¿Cómo pruebo mi robots.txt?
Pégalo en el Probador de Robots.txt para comprobar si una URL concreta está permitida para Googlebot, Bingbot o los rastreadores de IA antes de publicarlo.
¿Puedo instalar Generador de robots.txt como aplicación web y utilizarla sin conexión?
Sí. Generador de robots.txt es una aplicación web instalable (PWA): se instala desde el navegador, no se descarga desde una tienda de aplicaciones. Haz clic en «Instalar aplicación» en la parte superior de esta página en Chrome o Edge (Windows, macOS, Linux, ChromeOS) o, en Android, utiliza «Compartir» → «Añadir a la pantalla de inicio» en iPhone y iPad, o «Archivo» → «Añadir al Dock» en Safari 17+ en un Mac. A continuación, se abrirá en su propia ventana con su propio icono y, como se ejecuta íntegramente en tu navegador, seguirá funcionando sin conexión. Firefox en el ordenador de sobremesa no permite instalar aplicaciones web. Cómo funciona la instalación.