Skip to main content

Kein Noindex in der Robots.txt mehr?

  • Geschrieben von Christoph am 09.07.2019

PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

about this result beispielbild titel

About this result – Neuerungen in den SERPs

  • christoph pawletko
  • von Christoph
  • 30.07.2021

Mehr Transparenz bei Google dank erweiterter Suchergebnisse? Die Google Suchergebnisse (SERPs) ändern sich ständig. Mal werden mehr Informationen, mal weniger Elemente angezeigt. Anfang 2021 stellte Google die Funktion “about this result” vor, bei der man schon in den Suchergebnissen Informationen über die jeweilige Website abrufen konnte. Laut Google soll so […]

black friday abmahnung

Schwarzer Tag für Markeninhaber: Black Friday wird für Werbedienstleistungen gelöscht

  • Händlerbund
  • von Haendlerbund
  • 27.07.2021

Der „Black Friday“ gehört im Online-Handel längst zu den etablierten Begriffen und zu jenen Festivitäten, die Händlern steigende Umsätze versprechen. Nachdem der Schnäppchen-Tag vor einigen Jahren aus den USA auch auf den deutschen Markt geschwappt kam, nahmen in der Vergangenheit immer mehr große und kleine Händler teil und stellten eigene […]

website traffic verluste titelbild

Website Traffic Verluste: So reagiert Ihr laut Google

  • christoph pawletko
  • von Christoph
  • 23.07.2021

Bricht auf einmal der Traffic auf Eurer Website ein, kann dies schnell zu Umsatzeinbußen führen. Manchmal sind die Ursachen schnell gefunden, doch oft kommt der Trafficeinbruch überraschend und selbst erfahrene SEOs fragen sich nach den Gründen. Statt jetzt panisch zu werden, sollten Webmaster jetzt zunächst genau die Ursachen untersuchen, rät […]

Die wichtigsten SEO-Tools für Profis

Die wichtigsten SEO-Tools

  • oliver lindner
  • von Oliver Lindner
  • 23.07.2021

Als Spezialisten für Online-Marketing wissen wir genau, wie wichtige eine professionelle Suchmaschinenoptimierung (SEO) tatsächlich ist: Nur die Webseiten, die bei den relevanten Suchmaschinen optimal gerankt werden, sind auch für Ihre potenziellen Kunden sichtbar und werden aufgerufen. Doch SEO ist eine komplexe Angelegenheit, denn sie umfasst nicht nur die Erstellung der […]

online handel e commerce innenstädte

Online-Handel versus Innenstädte?

  • Händlerbund
  • von Haendlerbund
  • 20.07.2021

Soll der Online-Handel für die Innenstädte zahlen? Im September ist Bundestagswahl und ein Thema mit dem sich die neue Bundesregierung danach auseinandersetzen muss, ist die Krise der Innenstädte. Vielerorts wird über Verödung geklagt und das nicht erst seit Beginn der Coronakrise. Daran, dass diese Herausforderung angegangen werden muss, bestehen wenig […]

gendern seo stager tastatur

Gendern und SEO: Unsere Tipps

  • Alexandra
  • von Alexandra
  • 16.07.2021

Gendern und SEO – das solltet Ihr für ein erfolgreiches gendergerechtes SEO beachten Das Thema der genderneutralen Sprache pulsiert und gewinnt zunehmend an Bedeutung. So sind mittlerweile unterschiedlichste Branchen dazu übergegangen, die Inhalte ihres Internetauftritts gendersensibel zu formulieren. Gendern und SEO wird also ein Thema werden. Von dieser Entwicklung scheint […]