So nutzt du: robots.txt – Erklärvideo
- Gib eine Website ein und klicke auf „robots.txt abrufen“ oder füge den Inhalt der Datei direkt ein.
- Lies dir die Erläuterungen zu den einzelnen User-Agent-Gruppen durch – was blockiert wird, was als Ausnahme erlaubt ist und welche Platzhalter übereinstimmen.
- Schau dir die Liste der Probleme an: blockierte CSS-/JS-Dateien, eine siteweite
Disallow: /, nicht unterstütztenoindexZeilen und mehr. - Teste bestimmte URLs mit einem Crawler, um genau zu sehen, welche Regel ausschlaggebend ist.
Wie Crawler die robots.txt-Datei auswerten
- Wähle eine Gruppe aus – ein Crawler verwendet die Gruppe, deren
User-agentam genauesten mit seinem Namen übereinstimmt, und zwar ausschließlich diese Gruppe. Googlebot ignoriert die*Gruppe, wenn eineGooglebotGruppe existiert. - Passende Regeln finden –
DisallowundAllowWerte sind Pfadpräfixe.*entspricht beliebigen Zeichen,$markiert das Ende der URL. - Die längste Regel gewinnt – die spezifischste (längste) Übereinstimmungsregel entscheidet. Sind eine „Allow“- und eine „Disallow“-Regel gleich lang, gewinnt „Allow“ (Google und RFC 9309).
| Regel | Bedeutet |
|---|---|
Disallow: / | Die gesamte Website blockieren |
Disallow: (leer) | Nichts blockieren |
Disallow: /admin/ | Alles unter /admin/ blockieren |
Disallow: /admin | Blockiert auch /admin-login und /administrator |
Disallow: /*.pdf$ | URLs blockieren, die auf .pdf enden |
Disallow: /*? | Alle URLs mit einem Query-String blockieren |
Was robots.txt nicht kann
Es steuert das Crawlen, nicht die Indizierung. Eine blockierte URL kann trotzdem bei Google erscheinen, wenn andere Seiten darauf verlinken – verwende einen noindex Meta-Tag (und erlaube das Crawlen, damit Google die Seite sehen kann). Noindex: Zeilen in der robots.txt werden von Google seit 2019 ignoriert und Crawl-delay wird von Google ignoriert (Bing und Yandex halten sich daran).
Erstelle eine neue Datei mit dem robots.txt-Generator, teste eine Live-Website mit dem robots.txt-Tester, überprüfe KI-Bots mit dem KI-Crawler-Checker und validiere die von dir aufgelisteten Sitemaps mit dem Sitemap-Validator.
Auch gesucht als: robots.txt erklärt, robots.txt-prüfprogramm, bedeutung von robots.txt, „disallow“ in der robots.txt erklärt, robots.txt-platzhalter, robots.txt-regeln, robots.txt verstehen.
Passende Tools zu: robots.txt – Erklärvideo
- Meta Tag Checker — See exactly how Google is likely to display your page: title and description measured in pixels, desktop and mobile previews, and every meta tag in the <head>.
- SEO-Check & Website-Audit — Füge eine URL ein, um bis zu 70 On-Page-SEO-Prüfungen sowie ein vollständiges Website-Audit durchzuführen: Lighthouse-Geschwindigkeit, Sicherheits-Header & SSL, strukturierte Daten, defekte Links, robots.txt & KI-Crawler, Grundlagen der Barrierefreiheit, Tracking & Einwilligung, SPF/DKIM/DMARC und Ablauf der Domain – zusammengefasst in einem Website-Score mit priorisierten Korrekturvorschlägen.
- IndexNow Submitter — Tell search engines about new and updated pages instantly.
- Redirect Mapper — Migrating or redesigning a site?
Häufige Fragen
Wird eine Seite durch „Disallow“ aus Google entfernt?
Nein. Mit „Noindex“ wird das Crawlen unterbunden, aber die URL kann weiterhin über Links indexiert werden (dann wird sie ohne Beschreibung angezeigt). Um eine Seite zu entfernen, erlaube das Crawling und füge einen „noindex“-Meta-Tag oder einen „X-Robots-Tag“-Header hinzu.
Was bedeutet das $-Zeichen in der robots.txt?
Es legt das Ende der URL fest. „Disallow: /*.pdf$“ blockiert „/files/report.pdf“, nicht aber „/files/report.pdf?download=1“.
Wenn „Zulassen“ und „Verbieten“ beide übereinstimmen, was hat dann Vorrang?
Die längste (spezifischste) Übereinstimmungsregel. Wenn beide gleich lang sind, hat „Allow“ Vorrang für Google und Crawler, die RFC 9309 befolgen.
Soll ich CSS und JavaScript blockieren?
Nein. Google rendert Seiten wie ein Browser; das Blockieren von CSS- oder JS-Dateien kann dazu führen, dass die Seiten für den Googlebot fehlerhaft aussehen und das Ranking beeinträchtigt wird, insbesondere in Bezug auf die Mobilfreundlichkeit.
Kann ich robots.txt – Erklärvideo als Web-App installieren und offline nutzen?
Ja. robots.txt – Erklärvideo ist eine installierbare Web-App (PWA) – sie wird über Ihren Browser installiert und nicht aus einem App-Store heruntergeladen. Klicken Sie oben auf dieser Seite in Chrome oder Edge (Windows, macOS, Linux, ChromeOS) auf „App installieren“ oder verwenden Sie auf Android-Geräten „Teilen“ → „Zum Startbildschirm hinzufügen“ auf dem iPhone und iPad bzw. „Datei“ → „Zum Dock hinzufügen“ in Safari 17+ auf einem Mac. Die App öffnet sich dann in einem eigenen Fenster mit einem eigenen Symbol, und da sie vollständig in Ihrem Browser ausgeführt wird, funktioniert sie auch offline. Firefox auf dem Desktop kann keine Web-Apps installieren. So funktioniert die Installation.