So nutzt du: KI-Crawler-Checker
- Gib deine Domain oder eine beliebige Seiten-URL ein.
- Klicke auf KI-Crawler prüfen (oder drücke Strg+Enter).
- Lies das Ergebnis: Bist du für KI-Suche und Assistenten sichtbar, und erlaubst du das Modelltraining?
- Wähle im Snippet-Feld eine Richtlinie, z. B. Training blockieren, Suche erlauben, kopiere die Regeln in deine robots.txt und führe die Prüfung nach dem Deployment erneut aus.
Was ist ein KI-Crawler-Checker?
KI-Unternehmen schicken eigene Bots los, um Webinhalte abzurufen: zum Trainieren von Sprachmodellen, für den Index hinter KI-Suchantworten oder um eine Seite zu laden, nach der ein Nutzer einen Assistenten gefragt hat. Jeder Bot hat ein eigenes User-Agent-Token, das du in der robots.txt erlauben oder blockieren kannst. Dieser Checker liest deine robots.txt, wendet dieselben Abgleichregeln an wie ein Crawler und zeigt das Ergebnis für 18 KI-User-Agents, zusammen mit deiner llms.txt-Datei und allen noai-Direktiven.
Trainings-, Such- und nutzergesteuerte Bots
| Typ | Beispiele | Was Blockieren bewirkt |
|---|---|---|
| Training | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Bittet das Unternehmen, deine Inhalte nicht für künftiges Modelltraining zu verwenden |
| KI-Suche | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Kann deine Seiten aus Antworten und Quellenangaben in KI-Suchprodukten entfernen |
| Nutzerabruf | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Verhindert, dass Assistenten deine Seite öffnen, wenn ein Nutzer sie darum bittet |
Das sind unabhängige Entscheidungen. Viele Publisher blockieren Trainings-Bots, lassen aber Such- und Nutzer-Bots zu, damit ihre Inhalte weiterhin mit Link in KI-Antworten zitiert werden können.
Training blockieren und trotzdem sichtbar bleiben
Trage die Trainings-Bots in einer Gruppe mit Disallow: / ein und die Such-Bots in einer anderen mit Allow: /. Beachte: Ein Crawler, der zu einer benannten Gruppe passt, ignoriert deine User-agent: *-Gruppe komplett. Kopiere deshalb alle Disallow-Regeln, die du noch brauchst (etwa /admin/), in die benannten Gruppen. Der Generator unter den Ergebnissen erledigt das für dich. Für eine vollständige Datei nutze den Robots.txt-Generator.
Google-Extended ist eher ein Steuerungs-Token als ein eigenständiger Crawler: Es legt fest, ob von Googlebot abgerufene Inhalte für das Training und die Fundierung von Gemini verwendet werden dürfen. Google erklärt, dass dies die Aufnahme in die Google-Suche oder das Ranking dort nicht beeinflusst. Wenn du es blockierst, verschwindest du also nicht aus den Suchergebnissen.
Was ist llms.txt?
llms.txt ist eine 2024 vorgeschlagene Konvention: eine Markdown-Datei unter /llms.txt, die Sprachmodellen einen kompakten Überblick über eine Seite gibt, mit Links zu den wichtigsten Unterseiten. /llms-full.txt kann den vollständigen Text enthalten. Es ist kein Standard, und die Unterstützung durch KI-Anbieter ist noch begrenzt, aber das Hinzufügen kostet wenig. Erstelle eine Datei mit dem llms.txt-Generator.
Einschränkungen
robots.txt ist ein freiwilliges Protokoll. Die großen KI-Unternehmen sagen, ihre Crawler halten sich daran, doch technisch lässt sich ein Bot, der es ignoriert, damit nicht stoppen. Außerdem wirkt es nicht auf bereits gesammelte Inhalte. Für eine echte Durchsetzung brauchst du serverseitiges oder CDN-basiertes Bot-Blocking. Mit dem Robots.txt-Tester prüfst du Regeln für beliebige andere User-Agents.
Auch gesucht als: gptbot blockieren, claudebot, ki crawler blockieren, ki bots robots.txt, llms.txt prüfen, google-extended, perplexitybot, chatgpt crawler.
Passende Tools zu: KI-Crawler-Checker
- SEO-Check & Website-Audit — Füge eine URL ein, um bis zu 70 On-Page-SEO-Prüfungen sowie ein vollständiges Website-Audit durchzuführen: Lighthouse-Geschwindigkeit, Sicherheits-Header & SSL, strukturierte Daten, defekte Links, robots.txt & KI-Crawler, Grundlagen der Barrierefreiheit, Tracking & Einwilligung, SPF/DKIM/DMARC und Ablauf der Domain – zusammengefasst in einem Website-Score mit priorisierten Korrekturvorschlägen.
- Website Crawler — Starte auf deiner Startseite und crawle bis zu 100 interne Seiten, um seitenweite SEO-Probleme aufzudecken: defekte Seiten, doppelte Titles, fehlende Descriptions, H1-Fehler, noindex-Tags und langsame Seiten – alles in einem Live-Report.
- robots.txt – Erklärvideo — Die Regeln in der robots.txt-Datei sind kurz, lassen sich aber leicht falsch interpretieren.
- IndexNow Submitter — Informiere Suchmaschinen sofort über neue und aktualisierte Seiten.
Häufige Fragen
Entfernt das Blockieren von GPTBot meine Seite aus ChatGPT?
Entfernt mich das Blockieren von Google-Extended aus den KI-Übersichten?
nosnippet geregelt.Halten sich KI-Crawler an die robots.txt?
Was ist das noai-Meta-Tag?
noai und noimageai sind nicht standardisierte Werte für das Robots-Meta-Tag oder den X-Robots-Tag-Header. Einige Kunstplattformen haben sie eingeführt, um dem KI-Training zu widersprechen. Große KI-Crawler unterstützen sie offiziell nicht, daher ist die robots.txt das verlässlichere Signal.