Robots.txt für SEO: Der vollständige Leitfaden

Robots.txt ist eine vierzeilige Datei, die dich still Traffic kosten oder dein Crawl-Budget retten kann. Dieser Leitfaden behandelt die Syntax, die wirklich zählt, die Sperren, die Rankings am häufigsten schädigen, was Crawl-Budget wirklich bedeutet und wie du jede Änderung verifizierst, bevor sie live geht.

5 Min. Lesezeit7 Abschnitte22. Juni 2026

Geschrieben von

Kostadin Stamboliev

Gründer und Imaginator

Gründer und Imaginator von Pineido. Arbeitet in IT-Beratung, App- und Webentwicklung, technischem SEO sowie KI und Automatisierung. Liefert Produktionscode in 30-Tage-Sprints mit festem Umfang und klarer Verantwortung.

LinkedIn

Was robots.txt leistet (und was nicht)

Robots.txt liegt im Stammverzeichnis jeder Domain, zum Beispiel https://example.com/robots.txt. Sie teilt regelkonformen Crawlern mit, welche URLs sie anfordern dürfen. Google sagt es deutlich: Die Datei soll verhindern, dass deine Website mit Anfragen überlastet wird, und sie ist kein Mechanismus, um eine Seite aus der Suche herauszuhalten.

Dieser eine Satz löst die meiste Verwirrung um robots.txt auf. Crawling bedeutet, dass ein Bot eine URL abruft. Indexierung bedeutet, dass Google diese URL speichert, um sie ranken zu können. Robots.txt regelt ausschließlich das Crawling. Eine Seite, die du sperrst, kann dennoch in den Ergebnissen erscheinen, meist als nackte URL ohne Snippet, wenn andere Seiten auf sie verlinken. Um eine Seite aus der Suche herauszuhalten, brauchst du ein noindex-Meta-Tag, einen X-Robots-Tag-Header, Passwortschutz oder das Entfernen, niemals eine Disallow-Zeile.

Noch eine Grenze: Die Datei ist nur ein Hinweis. Googlebot und andere seriöse Crawler befolgen sie, aber ein feindlicher Scraper kann sie vollständig ignorieren. Robots.txt ist ein Werkzeug zur Traffic-Steuerung, keine Sicherheitskontrolle. Alles, was privat bleiben muss, gehört hinter eine Authentifizierung.

Die Syntax, die wirklich zählt

Eine robots.txt-Datei besteht aus Gruppen von Regeln. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln. Ein minimales Beispiel:

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xml

Feldnamen sind nicht case-sensitiv (User-agent entspricht user-agent), aber Pfadwerte sind es: /Admin und /admin sind verschieden. Pfade sind relativ zum Stammverzeichnis und müssen mit einem Schrägstrich beginnen. Kommentare beginnen mit #.

Google, Bing und andere große Suchmaschinen unterstützen zwei Platzhalter: * passt auf eine beliebige Folge von Zeichen, und $ verankert das Ende einer URL. So sperrt Disallow: /*.pdf$ jede URL, die auf .pdf endet. Crawl-delay wird in alten Anleitungen oft aufgeführt, aber Google ignoriert es; Bing und Yandex lesen es weiterhin. Halte die Datei in UTF-8 und unter 500KB, was Googles hartes Limit ist; alles darüber wird ignoriert.

Vorrang: Nicht die Reihenfolge entscheidet, sondern die Länge

Der häufigste Syntaxfehler ist die Annahme, Regeln würden von oben nach unten gelesen. Das ist nicht so. Wenn mehrere Regeln auf eine URL passen, gewinnt die Regel mit dem längsten Pfad, und bei exaktem Gleichstand schlägt Allow das Disallow. Das ist in RFC 9309 festgeschrieben, dem formalen Standard des Robots Exclusion Protocol.

Beispiel. Für die URL /home/search/shirts mit diesen Regeln:

Disallow: /home
Allow: *search*
Disallow: *shirts

ist die URL crawlbar, weil der passende Allow-Pfad länger ist als die passenden Disallow-Pfade. Das Umsortieren der Zeilen ändert nichts.

Es gibt eine zweite Falle bei den User Agents. Google führt alle Gruppen, die auf einen bestimmten Bot passen, zu einer zusammen, kombiniert aber niemals eine benannte Gruppe mit der globalen User-agent: *-Gruppe. In dem Moment, in dem du einen User-agent: Googlebot-Block hinzufügst, hört Googlebot also auf, deine User-agent: *-Regeln zu lesen. Wenn du einen bestimmten Bot ansprichst, muss diese Gruppe jede Regel wiederholen, die er weiterhin befolgen soll.

Sperren, die Rankings still schädigen

Der meiste Schaden durch robots.txt entsteht durch Über-Sperrung, nicht durch Unter-Sperrung. Der schlimmste Übeltäter ist das Sperren von CSS und JavaScript. Google rendert Seiten, um sie zu verstehen, und seine eigene Empfehlung ist direkt: Wenn robots.txt die JS-, CSS- und Bilddateien sperrt, die deine Seiten nutzen, schadet das direkt, wie gut Google deinen Inhalt rendert und indexiert, und kann zu schlechteren Rankings führen. Der alte Crawl-Budget-Mythos, Assets zu sperren, wurde vor Jahren ausgemustert.

Die Feinheit von Googles Martin Splitt: Das Sperren eines Skripts ist nur dann ein echtes Problem, wenn der Inhalt, den der Nutzer sieht, davon abhängt. Ein per robots gesperrtes Analytics-Tag oder Chat-Widget ist harmlos. Ein per robots gesperrtes Bundle, das deinen Haupttext einfügt, bedeutet, dass Google eine leere Seite sieht.

Das zweite stille Versagen ist, robots.txt zum Deindexieren zu nutzen. Sperrst du eine URL, kann Google sie nie crawlen, um ein noindex-Tag zu entdecken, das du später hinzufügst, und so bleibt die Seite indexiert. Wenn eine Seite verschwinden soll, lass sie crawlbar und liefere noindex aus. Ein pauschales Disallow: /, das aus einem Staging-Build übrig geblieben ist, ist die katastrophale Variante davon und deindexiert nach dem Launch ganze Websites.

Wöchentliche Impulse für den Betrieb

Schließen Sie sich Betreibern von Dienstleistungsunternehmen an, die jede Woche einen umsetzbaren Impuls zu Betrieb, Automatisierung und Wachstum erhalten.

Wir prüfen kurz, ob Sie ein Mensch sind. Gleich können Sie senden.

Kein Spam. Jederzeit abbestellbar.

Sie sind angemeldet! Die nächste Ausgabe kommt in Ihr Postfach.

Crawl-Budget: Was es ist und was robots.txt tun kann

Crawl-Budget ist, wie viele URLs Googlebot in einem bestimmten Zeitfenster von deiner Website abruft. Für Websites mit weniger als ein paar tausend URLs spielt es selten eine Rolle; Google crawlt sie vollständig. Real wird es bei großen Katalogen, Marktplätzen und jeder Website, die URLs kombinatorisch erzeugt.

Die klassische Verschwendung ist facettierte Navigation und Onsite-Suche. Filter wie ?color=red&size=l&sort=price vervielfachen sich zu nahezu unendlichen URLs mit wenig einzigartigem Wert, und interne Suchergebnisseiten können endlos entstehen. Googles Gary Illyes hat wiederholt gewarnt, Aktions-URLs zu sperren (In-den-Warenkorb, Login, Checkout, Filterkombinationen), weil Googlebot sie sonst unbegrenzt crawlt, sogar nicht existierende Kombinationen.

Eine Faktenkorrektur, die viele Anleitungen falsch machen: Das Sperren von Seiten gibt das freigewordene Budget nicht an deine wichtigen Seiten weiter. Google verteilt nur dann um, wenn dein Server bereits sein Bedienlimit erreicht hatte. Robots.txt stoppt Verschwendung; es erzeugt keine Crawl-Kapazität. Die echten Hebel für mehr Crawling sind schnellere, gesündere Server und höherwertige, wirklich einzigartige Inhalte.

Eine praktische Startvorlage

Die meisten Dienstleistungs- und Content-Websites wollen etwas, das dem hier nahekommt, angepasst an echte Pfade:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

Hinweise. Führe jede XML-Sitemap mit einer absoluten URL auf; du kannst mehrere Zeilen haben. Sperre nicht /wp-content, /assets oder ein Verzeichnis, das CSS, JS oder Bilder enthält. Sei präzise bei Parameterregeln, denn ein schludriges Disallow: /*? kann saubere URLs lahmlegen, die zufällig einen Tracking-Parameter tragen. Halte die Datei einfach; komplexe Stapel von Platzhalterregeln sind der Ort, an dem sich versehentliche Über-Sperrung versteckt. Jede Subdomain braucht ihre eigene robots.txt, und jedes Protokoll ebenso, daher werden http und https als getrennte Dateien behandelt.

Mit GSC und curl testen, bevor es live geht

Verifiziere bei jeder Änderung zwei Dinge: dass die Datei, die Google abruft, die ist, die du beabsichtigt hast, und dass echte URLs sich so auflösen, wie du es erwartest.

Beginne mit curl, um genau zu sehen, was Crawler empfangen, ohne Überraschungen durch Caching oder CDN: curl -A "Googlebot" https://example.com/robots.txt. Bestätige, dass der Status 200 ist, der Content-Type text/plain ist und der Inhalt mit deiner Quelle übereinstimmt. Eine robots.txt, die 500 zurückgibt, lässt Google die gesamte Website als gesperrt behandeln, bis sie sich erholt, daher ist die Server-Gesundheit hier wichtig.

In der Google Search Console ist der alte robots.txt-Tester verschwunden. Nutze den robots.txt-Bericht unter Einstellungen, um Googles zuletzt abgerufene Version und etwaige Parse-Warnungen zu bestätigen. Um eine bestimmte URL zu prüfen, füge sie in das URL-Prüftool ein und lies den Crawl-Abschnitt; er sagt dir, ob die URL gesperrt ist. Um bestehenden Schaden zu finden, öffne den Seiten-Bericht und filtere nach Durch robots.txt blockiert. Denk daran, dass die GSC nur Googlebot testet, also validiere für Bing oder KI-Crawler separat. Diese Testdisziplin, vor Launches und Migrationen angewandt, ist genau die Art von Schutzmaßnahme, die ein technischer SEO-Sprint mit festem Umfang in deinen Release-Prozess einbaut, damit ein verirrtes Disallow niemals die Produktion erreicht.

Bereit zum Launch?

Sagen Sie uns, wo Sie feststecken. Wir prüfen es und senden Ihnen innerhalb eines Werktags eine konkrete Empfehlung.

Häufig gestellte Fragen

Kann ich robots.txt nutzen, um eine Seite aus Google herauszuhalten?

Nein. Robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann dennoch indexiert und als URL angezeigt werden, wenn andere Seiten auf sie verlinken, und das Sperren verhindert, dass Google jemals ein noindex-Tag sieht. Um eine Seite aus der Suche zu entfernen, lass sie crawlbar und nutze ein noindex-Meta-Tag oder einen X-Robots-Tag-Header, schütze sie mit Passwort oder lösche sie.

Ist es schlecht, CSS und JavaScript in robots.txt zu sperren?

Ja, in den meisten Fällen. Google rendert Seiten, um sie zu verstehen, und sagt, dass das Sperren der CSS-, JS- und Bilddateien, die deine Seiten nutzen, Rendering und Indexierung direkt schädigt und Rankings senken kann. Die einzige sichere Ausnahme sind Skripte, die den Inhalt, den Nutzer sehen, nicht beeinflussen, etwa ein Chat-Widget. Sperre niemals Bundles, die deinen sichtbaren Text laden.

Gelten robots.txt-Regeln in der Reihenfolge, in der sie geschrieben sind?

Nein. Wenn mehrere Regeln auf eine URL passen, gewinnt die Regel mit dem längsten passenden Pfad, und bei Gleichstand schlägt Allow das Disallow. Das folgt RFC 9309. Das Umsortieren von Zeilen ändert das Verhalten nicht, also löse Konflikte, indem du die Pfad-Spezifität anpasst, nicht die Position.

Setzt das Sperren von Seiten in robots.txt Crawl-Budget frei?

Nur manchmal. Das Sperren von URLs mit geringem Wert stoppt Verschwendung, aber Google verteilt das freigewordene Budget nur dann auf andere Seiten um, wenn dein Server bereits sein Bedienlimit erreicht hatte. Für die meisten Websites bewirken schnellere Server und höherwertige, einzigartige Inhalte mehr für die Crawl-Rate als das Sperren allein.

Wie teste ich robots.txt-Änderungen im Jahr 2026?

Nutze curl mit einem Googlebot-User-Agent, um zu bestätigen, dass die Datei 200 und genau den erwarteten Inhalt zurückgibt. Prüfe in der Google Search Console den robots.txt-Bericht unter Einstellungen auf die abgerufene Version und Warnungen, nutze das URL-Prüftool, um bestimmte URLs zu testen, und filtere den Seiten-Bericht nach Durch robots.txt blockiert, um bestehende Probleme zu finden. Der alte eigenständige Tester ist veraltet.

Was sollte ich tatsächlich in robots.txt sperren?

Sperre URLs mit geringem Wert und hohem Volumen, die unendlichen Crawl-Raum schaffen: facettierte Filterkombinationen, interne Suchergebnisse, Sortier- und Paginierungsparameter sowie Aktionsseiten wie Warenkorb, Checkout, Login und Konto. Lass CSS, JS, Bilder und jede Seite, die du indexiert haben willst, immer crawlbar.