Was ist der Unterschied zwischen noindex und Disallow in der robots.txt, und wann sollte ich was verwenden?
Die beiden Direktiven lösen unterschiedliche Probleme, und genau darin liegt die Wurzel der meisten Verwirrung. Ein Disallow in der robots.txt steuert das Crawling, es sagt Suchmaschinen, welche URLs sie abrufen dürfen. Laut Googles eigener Dokumentation existiert die robots.txt hauptsächlich, um zu vermeiden, dass deine Website mit Anfragen überlastet wird, und sie ist ausdrücklich kein Mechanismus, um eine Seite aus Google herauszuhalten. Eine noindex-Regel steuert die Indexierung, sie sagt Suchmaschinen, die Seite vollständig aus den Ergebnissen zu entfernen. Die Frage lautet also nie nur Disallow oder noindex, sondern welches Ergebnis du tatsächlich willst.
Verwende noindex, wenn du eine Seite willst, die Nutzer erreichen können, die aber niemals in den Suchergebnissen auftauchen soll, etwa Danke-Seiten, interne Suchergebnisseiten, Bestätigungen für gesperrte Downloads oder dünne Filterkombinationen. Noindex wird entweder als Meta-Robots-Tag im Kopf der Seite oder als HTTP-Antwort-Header X-Robots-Tag gesetzt. Sobald der Googlebot die Seite crawlt und die Regel liest, wird die Seite aus den Ergebnissen entfernt, unabhängig davon, wie viele andere Seiten auf sie verlinken. Diese Zuverlässigkeit ist der Grund, warum noindex und nicht Disallow das richtige Werkzeug ist, um Seiten aus der Suche zu halten.
Verwende ein Disallow in der robots.txt, wenn du Crawler ganz daran hindern willst, eine URL abzurufen, in der Regel um das Crawl-Budget zu schützen oder Bots aus Bereichen herauszuhalten, die keinen Suchwert erzeugen, etwa Admin-Pfade, facettierte Parameter-URLs, Staging-Verzeichnisse oder große Medien, die du nicht abgerufen haben willst. Aber sei dir über die Grenze im Klaren, eine per Disallow gesperrte URL kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken. Google zeigt möglicherweise die nackte URL mit einem Snippet wie eine Beschreibung für dieses Ergebnis ist aufgrund der robots.txt dieser Website nicht verfügbar. Disallow verbirgt den Inhalt, nicht zwingend den Eintrag.
Der mit Abstand schädlichste Fehler, und einer, den wir bei technischen Audits ständig sehen, ist, sowohl ein Disallow als auch ein noindex auf dieselbe URL anzuwenden. Sie stehen im Konflikt. Damit noindex funktioniert, muss Google die Seite crawlen, um das Tag zu sehen. Wenn die robots.txt das Crawling blockiert, liest der Googlebot das noindex nie, und die Seite kann unbegrenzt im Index verbleiben. Wenn du willst, dass eine Seite aus der Suche verschwindet, musst du Google sie crawlen lassen, was bedeutet, sie nicht per Disallow zu sperren. Beachte außerdem, dass Google eine noindex-Direktive, die innerhalb der robots.txt selbst geschrieben ist, nicht unterstützt.
Dieser Konflikt taucht in der Google Search Console als zwei getrennte Berichte auf. Indexiert, obwohl durch robots.txt blockiert bedeutet, dass Google eine URL indexiert hat, die es nicht crawlen konnte, oft wegen eingehender Links oder eines Sitemap-Eintrags. Durch noindex-Tag ausgeschlossen bedeutet, dass die Regel gesehen und befolgt wurde, was der gesunde Zustand ist. Um den blockiert-aber-indexiert-Fall zu beheben, wenn du die Seite wirklich draußen haben willst, entferne das Disallow, füge das noindex hinzu oder bestätige es, und fordere dann eine erneute Indexierung an. Die internen Links zu entfernen, die auf die URL zeigen, oder rel=nofollow als Hinweis hinzuzufügen, hilft Google, sie nicht wieder zu entdecken.
Der HTTP-Header X-Robots-Tag ist das Teil, das die meisten Teams übersehen. Ein Meta-Robots-Tag funktioniert nur innerhalb von HTML, kann also PDFs, Bilder, Videos oder andere Nicht-HTML-Dateien nicht steuern. Der X-Robots-Tag trägt dieselben noindex- und nofollow-Regeln im Antwort-Header und gilt für jeden Dateityp. Bei Apache setzt du ihn für alle PDFs mit einem Files-Block in der .htaccess, bei NGINX mit einem add_header innerhalb einer location-Übereinstimmung. Dieselbe Crawl-Voraussetzung gilt, wenn die robots.txt die Datei blockiert, sieht der Crawler den Header nie, also bewirkt die Regel nichts.
Eine letzte Grenze ist es wert, klar ausgesprochen zu werden, keine der beiden Direktiven ist Sicherheit. Robots.txt ist eine öffentliche Datei, die faktisch die Pfade verrät, die du nicht gecrawlt haben willst, und ein noindex liefert weiterhin den vollständigen Inhalt an jeden, ob Mensch oder Bot, der die URL anfragt. Für alles wirklich Private, etwa Kundendaten, interne Tools oder Vorab-Umgebungen, verwende Authentifizierung oder Passwortschutz. Behandle noindex und Disallow als Sichtbarkeitssteuerung für Suchmaschinen, niemals als Zugriffssteuerung.
Dies bei einer echten Website richtig zu machen bedeutet, jedes templatebasierte URL-Muster, die Sitemap, die robots.txt-Regeln sowie die Meta- und Header-Direktiven gemeinsam zu prüfen, weil sie miteinander interagieren. Genau diese übergreifende Bereinigung ist die Art von Arbeit, die unsere Engagements Website in 30 Tagen und Stabilisierung übernehmen, wir bilden ab, welche URLs gecrawlt, welche indexiert und welche gesperrt werden sollen, und implementieren dann die Direktiven so, dass sie sich gegenseitig verstärken statt gegeneinander zu arbeiten.
Bereit zum Launch?
Sagen Sie uns, wo Sie feststecken. Wir prüfen es und senden Ihnen innerhalb eines Werktags eine konkrete Empfehlung.