robots.txt und Sitemap-Fehler beheben
Ein kleiner Fehler in der robots.txt kann eine ganze Website aus der Suche verbergen. Eine unordentliche Sitemap verschwendet Crawling auf Seiten, die nicht wichtig sind. Beides ist schnell behoben, sobald du die Regeln kennst.
Was die robots.txt macht und was nicht
Die Datei liegt unter https://example.com/robots.txt und sagt Crawlern, welche Pfade sie auslassen sollen. Sie steuert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann trotzdem in der Suche auftauchen, wenn andere Websites auf sie verlinken.
Damit eine Seite nicht in den Ergebnissen erscheint, nutze ein noindex-Tag und lass die Seite crawlbar, denn Google muss die Seite lesen, um dieses Tag zu sehen.
Regeln korrigieren, die zu viel blockieren
Diese eine Zeile sperrt eine komplette Website, und sie bleibt oft aus einer Staging-Umgebung übrig:
User-agent: *
Disallow: /Ein sicherer Ausgangspunkt für die meisten Websites sieht so aus:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlSperre deine CSS- oder JavaScript-Dateien nicht, denn Google braucht sie, um die Seite so zu sehen wie Besucher. Teste eine bestimmte Adresse mit dem robots.txt Tester oder erstelle eine saubere Datei mit dem robots.txt Generator.
Eine saubere Sitemap erstellen
Eine Sitemap listet die Seiten auf, die gefunden werden sollen. Sie sollte nur Adressen enthalten, die:
- den Status
200zurückgeben, - die kanonische Version der Seite sind,
- nicht durch die robots.txt gesperrt oder mit
noindexmarkiert sind.
Eine Sitemap kann bis zu 50.000 Adressen oder 50 MB umfassen. Größere Websites teilen sie mit einer Indexdatei auf mehrere Sitemaps auf. Falls deine Plattform keine erzeugt, kannst du mit dem Sitemap Generator eine erstellen.
Häufige Fehler beheben
- „Sitemap konnte nicht gelesen werden“: Rufe die Adresse selbst auf. Sie muss XML zurückgeben, keine HTML-Seite und keine Fehlermeldung.
- „Eingereichte URL durch robots.txt blockiert“: Entweder entfernst du die Regel oder du nimmst diese Adresse aus der Sitemap heraus.
- „Eingereichte URL nicht gefunden (404)“: Deine Sitemap ist veraltet, also erstelle sie neu.
- Falsche Datumsangaben: Ändere
lastmodnur, wenn sich eine Seite wirklich verändert hat. Google ignoriert Daten, denen es nicht vertrauen kann.
Prüfe deine Datei mit dem Sitemap Validator.
Suchmaschinen informieren
Ergänze die Zeile Sitemap: in der robots.txt und reiche die Adresse dann in der Google Search Console und den Bing Webmaster Tools ein. Danach schau ab und zu in deren Berichte, ob neue Fehler auftauchen.
