Skip to main content

Kein Noindex in der Robots.txt mehr?

  • christoph pawletko


PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafft Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Keine Ideen für Content? So hilft Euch Datenanalyse weiter

  • christoph pawletko
  • von Christoph
  • 14.01.2022

4 Wege, wie Dir Datenanalyse helfen kann, neue Ideen zu entwickeln und Inhalte zu optimieren Wenn Eure Konkurrenten besser ranken als Ihr, gibt es dafür wahrscheinlich einen guten Grund. Datenanalysen lassen sich sehr gut nutzen, um diese Gründe herauszufinden und neue Content-Ideen zu entwickeln, mit denen Ihr die Lücke schließen […]

Prduktseite Google Tipps für Produktbeschreibungen

Darum ranken eure Produktseiten nicht

  • christoph pawletko
  • von Christoph
  • 07.01.2022

Eigenschaften sollten auf Produktseiten auch im Text auftauchen Produktseiten enthalten in der Regel ein Produktbilder und die wichtigsten Informationen zum Produkt. Damit das Produkt bei Google auch gefunden werden kann, sollten auch alle Produkteigenschaften im Produkttext vorkommen. Nur dann kann das Produkt auch für alle wichtigen Produkteigenschaften ranken. Ein gutes […]

Digitale Inhalte Richtlinie (EU) 2019/770

Richtlinie (EU) 2019/770 (Digitale-Inhalte-Richtlinie)

  • Händlerbund
  • von Haendlerbund
  • 23.12.2021

Diese Änderungen bringt die Digitale-Inhalte-Richtlinie 2022 Im neuen Jahr kommt es zu einigen rechtlichen Änderungen im Verbrauchsgüterkauf. Der Gesetzgeber muss sich dem technischen Fortschritt anpassen und so wird es spezielle Regeln für digitale Inhalte und digitale Dienstleistungen geben. Neben der Warenkaufrichtlinie und der Umsetzung der Omnibus-Richtlinie wird im neuen Jahr […]

Titelbild Google Abstrafung

Google Abstrafung: Algorithmus-Penalty oder manuelle Maßnahme? Was tun?

  • christoph pawletko
  • von Christoph
  • 17.12.2021

So erkennt ihr, warum eure Rankings abstürzen Oft werden stärkere Änderungen in den Google Rankings gleich als Google Penalty bzw. Abstrafung bezeichnet. In den meisten Fällen liegt jedoch kein direkter Eingriff seitens Googles vor, sondern lediglich eine normale Neubewertung durch den Google Algorithmus. Eine Google Abstrafung wegen schlechter Links oder […]

Nachhaltigkeit für klimaneutrale Website

CO2-neutrale Website: Unsere Website ist klimaneutral

  • christoph pawletko
  • von Christoph
  • 08.12.2021

Die SEO-Küche als Teil der Initiative CO2 neutrale Website Nachhaltigkeit wird in allen Bereichen immer wichtiger, auch im Online-Marketing. Auch das Internet an sich verbraucht CO2, denn jede Website wird irgendwo gespeichert, jeder Server und jeder Datentransfer verbraucht Strom. Die SEO-Küche bemüht sich in allen Bereichen nachhaltig zu arbeiten, daher […]

neue Gesetze im Onlinehandel 2022

Für Onlinehandel: Gesetzesänderungen ab 2022

  • Händlerbund
  • von Haendlerbund
  • 02.12.2021

Diese Gesetzesänderungen für den Verkauf mit Verbrauchern bringt das neue Jahr Der Jahreswechsel wird gerne genutzt, um ein paar neue Gesetze auf den Weg zu bringen. Mit der Umsetzung einiger EU-Richtlinien ändert sich gerade im B2C-Bereich im Jahr 2022 einiges. Neben Änderungen im Verpackungs- und Elektrogesetz, wird im Januar die […]