Cómo usar: Comprobador de rastreadores IA
- Introduce tu dominio o la URL de cualquier página.
- Haz clic en Comprobar rastreadores IA (o pulsa Ctrl+Intro).
- Lee el veredicto: ¿eres visible para los buscadores y asistentes de IA, y permites el entrenamiento de modelos?
- Elige una política en el cuadro del fragmento, por ejemplo Bloquear entrenamiento, permitir búsqueda, copia las reglas en tu robots.txt y vuelve a ejecutar la comprobación tras publicar los cambios.
¿Qué es un comprobador de rastreadores de IA?
Las empresas de IA envían sus propios bots para obtener contenido web: para entrenar modelos de lenguaje, para construir el índice que usan las respuestas de los buscadores de IA o para cargar una página sobre la que un usuario preguntó a un asistente. Cada bot tiene su propio token de user-agent, que puedes permitir o bloquear en robots.txt. Este comprobador lee tu robots.txt, aplica las mismas reglas de coincidencia que usaría un rastreador y muestra el resultado de 18 user-agents de IA, junto con tu archivo llms.txt y cualquier directiva noai.
Bots de entrenamiento, de búsqueda y de acceso del usuario
| Tipo | Ejemplos | Qué hace el bloqueo |
|---|---|---|
| Entrenamiento | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Pide a la empresa que no use tu contenido para entrenar modelos futuros |
| Búsqueda con IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Puede eliminar tus páginas de las respuestas y citas de los productos de búsqueda con IA |
| Acceso del usuario | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Impide que los asistentes abran tu página cuando un usuario se lo pide |
Son decisiones independientes. Muchos editores bloquean los bots de entrenamiento, pero mantienen permitidos los de búsqueda y los de acceso del usuario, para que su contenido siga pudiendo citarse, con enlace, en las respuestas de IA.
Bloquear el entrenamiento sin perder visibilidad
Agrupa los bots de entrenamiento en un mismo bloque con Disallow: / y los de búsqueda en otro con Allow: /. Ten en cuenta que un rastreador que coincide con un grupo con nombre ignora por completo tu grupo User-agent: *, así que copia en los grupos con nombre las reglas Disallow que sigas necesitando (como /admin/). El generador situado debajo de los resultados lo escribe por ti; para un archivo completo usa el Generador de Robots.txt.
Google-Extended no es un rastreador independiente, sino un token de control: determina si el contenido obtenido por Googlebot puede usarse para entrenar y fundamentar Gemini. Google indica que no afecta a la indexación ni al posicionamiento en la Búsqueda de Google, así que bloquearlo no te eliminará de los resultados de búsqueda.
¿Qué es llms.txt?
llms.txt es una convención propuesta en 2024 para un archivo Markdown en /llms.txt que ofrece a los modelos de lenguaje una visión general y concisa de un sitio, con enlaces a sus páginas más útiles; /llms-full.txt puede contener el texto completo. No es un estándar y el soporte de los proveedores de IA sigue siendo limitado, pero añadirlo cuesta muy poco. Puedes crearlo con el Generador de llms.txt.
Limitaciones
robots.txt es un protocolo voluntario. Las principales empresas de IA afirman que sus rastreadores lo respetan, pero técnicamente no puede impedir que un bot que lo ignore acceda, y no afecta al contenido que ya se haya recopilado. Para hacer cumplir las reglas necesitas bloqueo de bots en el servidor o en la CDN. Usa el Probador de Robots.txt para comprobar las reglas de cualquier otro user-agent.
También se busca como: gptbot, claudebot, bloquear rastreadores ia, bots ia robots.txt, comprobador llms.txt, google-extended, perplexitybot, crawler chatgpt.
Herramientas que combinan con: Comprobador de rastreadores IA
- Verificador SEO y auditoría del sitio web — Pega una URL para realizar hasta 70 comprobaciones de SEO on-page, además de una auditoría completa del sitio web: velocidad de Lighthouse, encabezados de seguridad y SSL, datos estructurados, enlaces rotos, robots.txt y rastreadores de IA, aspectos básicos de accesibilidad, seguimiento y consentimiento, SPF/DKIM/DMARC y caducidad del dominio — todo ello resumido en una puntuación global del sitio web con soluciones priorizadas.
- Rastreador web — Empieza desde tu página de inicio y rastrea hasta 100 páginas internas para descubrir problemas SEO en todo el sitio: páginas rotas, títulos duplicados, descripciones ausentes, errores de H1, etiquetas noindex y páginas lentas, todo en un solo informe en vivo.
- Guía sobre el archivo robots.txt — Las reglas de robots.txt son breves, pero es fácil malinterpretarlas.
- Enviador de IndexNow — Avisa a los buscadores de páginas nuevas y actualizadas al instante.
Preguntas frecuentes
¿Bloquear GPTBot elimina mi web de ChatGPT?
¿Bloquear Google-Extended me elimina de las Descripciones generales con IA?
nosnippet.¿Los rastreadores de IA respetan robots.txt?
¿Qué es la metaetiqueta noai?
noai y noimageai son valores no estándar para la metaetiqueta robots o la cabecera X-Robots-Tag, introducidos por algunas plataformas artísticas para indicar que no se permite el entrenamiento de IA. Los principales rastreadores de IA no los admiten formalmente, así que robots.txt es la señal más fiable.