Skip to main content

Kein Noindex in der Robots.txt mehr?

  • Benutzerbild von Christoph


PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafftDie Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

kleiner Spielzeug-Einkaufswagen im Fokus, im Hintergrund arbeitet eine Person an einem Laptop

Warenkorbabbrüche reduzieren – Tipps und Tools

  • luisa
  • von Luisa Losereit
  • 19.05.2025

Beim Online-Shopping verlassen im Durchschnitt 7 von 10 Besucher Ihren Warenkorb, bevor sie den Einkauf abschließen. Ihre Webseite performt gut in den Suchergebnissen, zieht Traffic an, wird von potenziellen Kunden gefunden und Ihre Besucher verweilen gerne auf Ihrer Webseite. Doch trotz dieser vielversprechenden Signale werden die Warenkörbe gefüllt, aber die […]

Strawberry - Der KI-Browser

Strawberry – Der KI-Browser

  • Oliver Lindner / Gründer und Geschäftsführer
  • von Oliver Lindner
  • 15.05.2025

Strawberry – der KI-Browser, der Surfen und Arbeiten revolutioniert Einführung in Strawberry: Was ist das und warum spricht jeder darüber? Strawberry ist ein neuartiger KI-Browser – also ein Webbrowser mit eingebauter künstlicher Intelligenz. Diese sogenannten „Companions“ (Begleiter) unterstützen dich beim Surfen und übernehmen auf Wunsch sogar Aufgaben für dich. Das […]

Person tippt auf Laptop; vor dem Bildschirm schweben verschiedene Icons wie Dollarzeichen, Likes, Kleidung, Bücher, etc.

10 Best Practices – So gestalten Sie besser sichtbare Produktseiten

  • luisa
  • von Luisa Losereit
  • 12.05.2025

Mit einem Onlineshop mehr Sichtbarkeit zu erzielen, kann mit einigen Hürden verbunden sein. Die meisten Shopbetreiber investieren viel Zeit in die Optimierung der Startseite und vernachlässigen die Produktseiten. Obschon die Startseite wichtig für die Sichtbarkeit ist, spielen auch gut optimierte Produktseiten eine wichtige Rolle für Ihr SEO. Zudem suchen Kunden […]

Ist SEO tot

SEO – Tot oder lebendig? Ein Mythos wird entlarvt.

  • Oliver Lindner / Gründer und Geschäftsführer
  • von Oliver Lindner
  • 05.05.2025

Es gibt wohl kaum ein Thema, das so häufig totgesagt wurde wie SEO (Suchmaschinenoptimierung). Immer wieder, wenn neue Technologien auf den Markt kommen oder Google ein Update veröffentlicht, hört man die Rufe: „Ist SEO tot?“ Doch diese Frage wird meist viel zu schnell gestellt. Ganz im Gegenteil: SEO lebt – […]

verschiedene Icons wie Zahnräder, Menschen und Graphiken passend zum Begriff CRO dargestellt, mit Mann im Hintergrund, der darauf zeigt

Nutzerführung für lokale Kunden auf Ihrer Website inkl. Praxisbeispiele

  • luisa
  • von Luisa Losereit
  • 28.04.2025

Die Usability und User-Experience (UX) ist wichtig für die Conversion-Optimierung und entscheidet darüber, ob und wie lange ein Besucher auf einer Webseite verweilt und eine Konversion stattfindet. Lokale Kunden suchen in der Suchmaschine nach Problemlösungen in der unmittelbaren Umgebung und besuchen Ihre Webseite. Damit potenzielle Kunden auf Ihrer Seite verweilen […]

Mann hält Lupe in einer Hand, in der die Target Audience mit Icons von Menschen dargestellt wird, im Hintergrund sind unscharf weitere Icons abgebildet

Regionales Targeting auf Facebook und Instagram

  • luisa
  • von Luisa Losereit
  • 17.04.2025

Um Ihre Zielgruppe besser zu erreichen, stehen Ihnen bei Facebook und Instagram viele Möglichkeiten für regionales Targeting zur Verfügung. Diese Vorgehensweise des zielgruppenspezifischen Targetings ist sehr effektiv und mächtig, sofern sie richtig eingesetzt wird. Es hilft Ihnen Werbeanzeigen an einen klar definierten Personenkreis auszuspielen. Hierfür stehen Ihnen in beiden Netzwerken […]