So nutzt du: Robots.txt-Tester
- Gib deine Site-URL ein. Um eine bestimmte Seite zu testen, gib die vollständige URL ein oder tippe den Pfad (z. B.
/checkout?step=2) in das Pfadfeld. - Wähle einen User-Agent wie Googlebot, Bingbot oder GPTBot – oder tippe einen anderen ein.
- Klicke auf Testen, um zu sehen, ob der Pfad erlaubt oder blockiert ist, welche Regel gegriffen hat und wie andere Crawler damit umgehen.
- Bearbeite die robots.txt im Editor und klicke auf Bearbeitete Version testen, um Änderungen gefahrlos auszuprobieren. Danach kannst du das Ergebnis kopieren oder herunterladen.
Was ist ein robots.txt-Tester?
Die robots.txt ist eine reine Textdatei im Root eines Hosts (https://example.com/robots.txt), die Crawlern mitteilt, welche Pfade sie abrufen dürfen. Ein Tester lädt diese Datei, parst sie so, wie Suchmaschinen es tun, und beantwortet eine Frage genau: Darf dieser Crawler diese URL abrufen? Seit Google den robots.txt-Tester in der Search Console 2023 eingestellt hat, ist ein eigenständiger Tester der schnellste Weg, Regeln vor und nach einem Deployment zu prüfen.
So werden Regeln zugeordnet
Die Zuordnung folgt Googles dokumentiertem Verhalten und dem Robots-Exclusion-Standard (RFC 9309):
- Die Gruppe auswählen. Ein Crawler befolgt nur die Gruppe, deren
User-agentam genauesten zu ihm passt. HatGoogleboteine eigene Gruppe, werden die Regeln fürUser-agent: *für ihn komplett ignoriert. - Passende Regeln finden. Jeder
Allow- undDisallow-Pfad wird ab dem Anfang des URL-Pfads verglichen, einschließlich des Query-Strings.*steht für beliebige Zeichen und$markiert das Ende. - Die längste Übereinstimmung gewinnt. Die Regel mit dem längsten Pfad entscheidet. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Gibt es keine passende Regel, ist der Zugriff erlaubt.
| Regel | Blockiert | Blockiert nicht |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (Pfade sind case-sensitiv) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Jede URL mit Query-String | /shop/shoes |
Disallow: (leer) | Nichts | Alles ist erlaubt |
Typische Fehler in der robots.txt
- Ein vergessenes
Disallow: /von einer Staging-Umgebung, das nach dem Launch die ganze Site blockiert. - CSS und JavaScript blockieren, wodurch Google deine Seiten nicht mehr korrekt rendern kann.
- Mit der robots.txt Seiten aus Google entfernen wollen. Disallow verhindert das Crawling, nicht die Indexierung. Eine blockierte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Nutze stattdessen ein
noindex-Meta-Tag oder einen Header und lass die Seite crawlbar. - Vergessen, dass jeder Host eine eigene Datei braucht:
shop.example.comverwendet nicht die robots.txt vonwww.example.com.
Brauchst du eine neue Datei? Erstelle sie mit dem Robots.txt-Generator und prüfe mit dem AI-Crawler-Checker, wie KI-Bots behandelt werden.
Auch gesucht als: robots.txt prüfen, robots.txt checker, robots.txt validator, ist url blockiert, googlebot blockiert, disallow tester, robots.txt testen.
Passende Tools zu: Robots.txt-Tester
- Sitemap-Validator — Finde deine XML-Sitemap und validiere sie: URL-Anzahl, Unter-Sitemaps im Sitemap-Index, lastmod-Abdeckung, Duplikate und URLs mit fremdem Host.
- Website Crawler — Starte auf deiner Startseite und crawle bis zu 100 interne Seiten, um seitenweite SEO-Probleme aufzudecken: defekte Seiten, doppelte Titles, fehlende Descriptions, H1-Fehler, noindex-Tags und langsame Seiten – alles in einem Live-Report.
- SEO-Check & Website-Audit — Füge eine URL ein, um bis zu 70 On-Page-SEO-Prüfungen sowie ein vollständiges Website-Audit durchzuführen: Lighthouse-Geschwindigkeit, Sicherheits-Header & SSL, strukturierte Daten, defekte Links, robots.txt & KI-Crawler, Grundlagen der Barrierefreiheit, Tracking & Einwilligung, SPF/DKIM/DMARC und Ablauf der Domain – zusammengefasst in einem Website-Score mit priorisierten Korrekturvorschlägen.
- robots.txt – Erklärvideo — Die Regeln in der robots.txt-Datei sind kurz, lassen sich aber leicht falsch interpretieren.
Häufige Fragen
Entfernt Disallow eine Seite aus Google?
Nein. Disallow verhindert nur das Crawling. Eine blockierte URL kann trotzdem indexiert werden (meist ohne Snippet), wenn von anderen Seiten darauf verlinkt wird. Um eine Seite zu entfernen, erlaube das Crawling und setze
noindex.Was gewinnt: Allow oder Disallow?
Der spezifischste (also längste) passende Pfad gewinnt. Haben eine Allow- und eine Disallow-Regel die gleiche Länge, wendet Google die weniger restriktive Allow-Regel an.
Ist robots.txt case-sensitiv?
Bei Pfaden ja:
Disallow: /Admin blockiert nicht /admin. Direktivennamen wie disallow und User-Agent-Namen sind nicht case-sensitiv.Wo muss die robots.txt liegen?
Im Root jedes Hosts und Protokolls, z. B.
https://www.example.com/robots.txt. Dateien in Unterordnern werden ignoriert, und jede Subdomain braucht eine eigene.Unterstützt Google Crawl-delay?
Nein. Googlebot ignoriert
Crawl-delay; Bing und einige andere Crawler beachten es. Crawlt Googlebot zu schnell, kann dein Server vorübergehend mit 503- oder 429-Antworten reagieren.