23. Januar 2026
Robots.txt & Sitemap.xml: So steuerst du Indexierung ohne SEO-Mythen
Was gehört in die Sitemap, was in robots.txt – und was ist ein gefährlicher Fehler? Hier ist die klare, praxisnahe Version.
Viele SEO-Probleme sind keine Content-Probleme, sondern Indexierungs-Probleme: Google sieht die falschen URLs, zu viele Varianten oder blockierte Bereiche.
Sitemap.xml: Das gehört rein
- nur Canonical-URLs
- nur 200 OK
- keine Parameter-Varianten
- keine Admin-/Preview-URLs
robots.txt: Das gehört rein
- klare Regeln für Crawler
- Hinweis zur Sitemap
Aber Vorsicht: robots.txt ist kein „Noindex-Schalter“.
Typische Setup-Checks
- Ist die Sitemap unter dem Canonical-Host erreichbar?
- Enthält sie nur Seiten, die du ranken willst?
- Gibt es Bereiche, die unabsichtlich geblockt sind?
Bonus: Interne Links schlagen jede Sitemap
Sitemap ist ein Signal. Interne Links sind echte Pfade.
Wenn du interne Links verbessern willst: Website: Wartung & Sicherheit
Nächster Schritt
Wir können deine Indexierung in der Search Console einmal „aufräumen“ (Varianten, Canonicals, sitemaps) und danach Content gezielt pushen.
Weiterlesen
Website-Relaunch ohne Rankingverlust: Die technische Checkliste (2026)
Relaunches verlieren Rankings selten wegen Design – sondern wegen Redirects, Canonicals, Indexierung und interner Links. So machst du es sauber.
Canonicals, Redirects & www: Die saubere SEO-Architektur in 30 Minuten
www vs non-www, http vs https, 307 vs 308, trailing slash: So vermeidest du Duplicate Content und sendest klare Signale an Google.
Onepager: Wann sinnvoll – und wann du dir damit SEO kaputt machst
Onepager sind schnell – aber nicht immer klug. Hier ist die ehrliche Entscheidungsmatrix: Ziel, SEO, Content-Struktur und Conversion.
Passend dazu
FAQ
Blockiert robots.txt das Indexieren?
Robots blockiert das Crawlen – nicht garantiert das Indexieren. Für echte Deindexierung brauchst du z.B. `noindex` (wo unterstützt) oder Entfernen/Redirect.
Muss jede URL in die Sitemap?
Nein. Nur Canonical-URLs, die du indexiert haben willst (200 OK, sinnvoller Content).
Wie oft soll die Sitemap aktualisiert werden?
Bei neuen Seiten/Posts sofort. Bei statischen Sites reicht es, wenn sie beim Build aktualisiert wird.
Was sind typische Sitemap-Fehler?
404/Redirect-URLs drin, falscher Host, falsche Canonicals, oder URLs, die du per robots blockierst.
Brauche ich `lastmod`?
Hilft, wenn es korrekt ist. Falsches `lastmod` (immer heute) kann eher schaden als nützen.