So nutzt du: Robots.txt Generator
- Klicke auf eine Vorlage, um zu starten: „Alles erlauben“ für die meisten Seiten, „WordPress“ oder „Shopify-artig“ für diese Plattformen oder „Alles blockieren“ für eine Staging-Seite.
- Füge Disallow- und Allow-Regeln für jede User-Agent-Gruppe hinzu. Pfade beginnen mit
/;*steht für beliebige Zeichen und$markiert das Ende der URL. - Optional kannst du „+ KI-Trainingsbots blockieren“ hinzufügen, um dich vom KI-Training abzumelden, während normale Suchmaschinen-Crawler weiterhin zugelassen bleiben.
- Trage deine Sitemap-URLs ein, prüfe die Warnungen und lade dann
robots.txtherunter. Lade sie anschließend in dein Domain-Root hoch (z. B.https://example.com/robots.txt). Prüfe sie mit dem Robots.txt Tester.
Was ist robots.txt?
robots.txt ist eine einfache Textdatei im Root eines Hosts (https://www.example.com/robots.txt), die Crawlern mitteilt, welche URLs sie abrufen dürfen. Sie folgt dem Robots Exclusion Protocol, das 2022 als RFC 9309 standardisiert wurde. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln. Ein Crawler befolgt nur die spezifischste Gruppe, die zu seinem Namen passt, andernfalls greift User-agent: *.
Wie Regeln abgeglichen werden
- Regeln gleichen URL-Pfade per Präfix ab:
Disallow: /adminblockiert/admin,/admin/und/administrator. Verwende/admin/, um nur den Ordner zu blockieren. *steht für beliebige Zeichenfolgen und$markiert das Ende:Disallow: /*.pdf$blockiert jede PDF-Datei.- Passen Allow und Disallow gleichzeitig, wendet Google die längste (spezifischste) Regel an. Bei Gleichstand gewinnt Allow.
- Ein leeres
Disallow:bedeutet „alles erlauben“.Disallow: /blockiert die ganze Seite.
KI-Crawler blockieren
KI-Unternehmen nutzen getrennte User-Agents für Modelltraining, Suchindizierung und vom Nutzer ausgelöste Abrufe. So kannst du dich vom Training abmelden, ohne in KI-Suchantworten zu verschwinden:
| User-Agent | Betreiber | Zweck |
|---|---|---|
| GPTBot | OpenAI | Trainingsdaten |
| OAI-SearchBot / ChatGPT-User | OpenAI | ChatGPT-Suche / vom Nutzer angeforderte Seiten |
| ClaudeBot | Anthropic | Trainingsdaten |
| Claude-SearchBot / Claude-User | Anthropic | Suche / vom Nutzer angeforderte Seiten |
| Google-Extended | Steuerungs-Token für Gemini-Training und Grounding, beeinflusst die Google-Suche nicht | |
| Applebot-Extended | Apple | Steuerungs-Token für KI-Training bei Apple |
| CCBot | Common Crawl | Offener Web-Korpus, der häufig fürs Training genutzt wird |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Trainingsdaten |
| PerplexityBot / Perplexity-User | Perplexity | Suchindex / vom Nutzer angeforderte Seiten |
Die Einhaltung ist freiwillig: Seriöse Crawler respektieren robots.txt, sie ist aber keine Zugriffskontrolle. Nutze Authentifizierung oder Firewall-Regeln für alles, was privat bleiben muss. Prüfe mit dem AI Crawler Checker, was deine Live-Seite aktuell erlaubt.
Häufige Fehler
- robots.txt zum Entfernen aus dem Index nutzen. Eine gesperrte URL kann trotzdem indexiert werden (ohne Snippet), wenn andere Seiten darauf verlinken. Nutze stattdessen ein
noindex-Meta-Tag. Sperre diese Seite aber nicht, sonst kann Google das Tag nicht sehen. - CSS und JavaScript blockieren. Google rendert Seiten. Wenn du
/assets/oder/wp-includes/sperrst, können Seiten für Google kaputt aussehen. - Auf Crawl-delay vertrauen. Bing und Yandex berücksichtigen es, Googlebot ignoriert es.
- Die Staging-Datei in die Produktion übernehmen. Ein vergessenes
Disallow: /ist eine der häufigsten Ursachen für plötzliche Traffic-Einbrüche nach einem Launch.
Auch gesucht als: robots.txt erstellen, gptbot blockieren, ki crawler blockieren, robots.txt disallow, user-agent, crawl-delay, robots datei erstellen, webflow robots.txt.
Passende Tools zu: Robots.txt Generator
- Sitemap-Generator — Crawle deine Website und erhalte eine saubere sitemap.xml, die nur Seiten enthält, die indexiert werden sollen: Status 200, kein noindex, self-canonical.
- llms.txt Generator — Schreibe eine llms.txt-Datei, die KI-Assistenten eine kuratierte Markdown-Übersicht deiner Website gibt: Projektname, Zusammenfassung, wichtige Seiten und optionale Extras.
- Sitemap-Validator — Finde deine XML-Sitemap und validiere sie: URL-Anzahl, Unter-Sitemaps im Sitemap-Index, lastmod-Abdeckung, Duplikate und URLs mit fremdem Host.
- Meta-Tag-Generator — Fülle ein Formular aus und erhalte einen vollständigen, gültigen <head> mit Title, Description, Canonical, Robots, Open Graph, X/Twitter Cards, Theme-Farbe und Icons, inklusive Live-Vorschau und webflow-spezifischer Ausgabe.
Häufige Fragen
Wo lade ich robots.txt hoch?
Im Root jedes Hosts, z. B.
https://www.example.com/robots.txt. Subdomains brauchen eine eigene Datei. In Webflow fügst du sie unter Site settings › SEO › robots.txt ein; bei Shopify bearbeitest du die Theme-Vorlage robots.txt.liquid.Entfernt das Blockieren von GPTBot meine Seite aus ChatGPT?
Mit GPTBot verhinderst du, dass OpenAI deine Seiten fürs Training nutzt. Die ChatGPT-Suche verwendet OAI-SearchBot, und vom Nutzer ausgelöste Abrufe laufen über ChatGPT-User. Blockiere diese also nur, wenn du auch aus den ChatGPT-Antworten raus willst.
Beeinflusst Google-Extended mein Google-Ranking?
Nein. Google-Extended ist nur ein Steuerungs-Token für das Training und Grounding von Gemini. Googlebot crawlt und rankt deine Seiten weiterhin normal.
Kann robots.txt eine Seite aus Google heraushalten?
Nicht zuverlässig. Die Datei verhindert nur das Crawling, nicht die Indexierung. Um eine Seite aus den Ergebnissen zu entfernen, erlaube das Crawling und füge
<meta name="robots" content="noindex"> hinzu, oder nutze einen Passwortschutz.Wie teste ich meine robots.txt?
Füge sie in den Robots.txt Tester ein, um vor dem Veröffentlichen zu prüfen, ob eine bestimmte URL für Googlebot, Bingbot oder KI-Crawler erlaubt ist.
Kann ich Robots.txt Generator als Web-App installieren und offline nutzen?
Ja. Robots.txt Generator ist eine installierbare Web-App (PWA) – sie wird über Ihren Browser installiert und nicht aus einem App-Store heruntergeladen. Klicken Sie oben auf dieser Seite in Chrome oder Edge (Windows, macOS, Linux, ChromeOS) auf „App installieren“ oder verwenden Sie auf Android-Geräten „Teilen“ → „Zum Startbildschirm hinzufügen“ auf dem iPhone und iPad bzw. „Datei“ → „Zum Dock hinzufügen“ in Safari 17+ auf einem Mac. Die App öffnet sich dann in einem eigenen Fenster mit einem eigenen Symbol, und da sie vollständig in Ihrem Browser ausgeführt wird, funktioniert sie auch offline. Firefox auf dem Desktop kann keine Web-Apps installieren. So funktioniert die Installation.