Skip to main content

Kein Noindex in der Robots.txt mehr?

  • christoph pawletko


PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafft Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Verpackungsgesetz Juli 2022

Verpackungsgesetz: Darauf müssen Onlinehändler ab Juli achten

  • Händlerbund
  • von Haendlerbund
  • 04.07.2022

Diese wichtigen Änderungen kommen zum 1. Juli 2022 im Verpackungsgesetz Registrierung für das Verpackungsregister, Handel auf Marktplätzen und Fulfillment – Im VerpackG kommt es zu einigen Anpassungen mit großer Bedeutung für den E-Commerce. Seit 2019 beschäftigt das Verpackungsgesetz insbesondere den Online-Handel mit diversen Aufgaben – beispielsweise der Systembeteiligungspflicht und der […]

BVDW Zertifikat SEO-Küche

Die SEO-Küche erhält das BVDW-Qualitätszertifikat SEO

  • oliver lindner
  • von Oliver Lindner
  • 27.06.2022

Suchmaschinenoptimierung ausgezeichnet mit dem BVDW-Zertifikat Das ist ein Grund zum Feiern: Die SEO-Küche wurde vom Bundesverband Digitale Wirtschaft e.V. (BVDW) mit dem SEO-Qualitätszertifikat ausgezeichnet. Nach einer ausführlichen und unabhängigen Prüfung, bei der eine Jury die Qualität unserer Arbeit nach verschiedenen Kriterien bewertet hat, haben wir das begehrte Zertifikat erhalten. Im […]

OMT Agency Day 2022

OMT Agency Day 2022 – Recap mit allen wichtigen Kernaussagen

  • rainer winkler
  • von Rainer
  • 25.06.2022

Am 24.06.2022 war es wieder soweit: pünktlich um 09:45 startete der Gastgeber Mario Jung mit der Begrüßung zum diesjährigen OMT-Agency Day in der Pyramide-Mainz Eventlocation.  Der Agency-Day wurde ins Leben gerufen, um Herausforderungen innerhalb der Online-Marketing-Branche zu besprechen und voneinander zu lernen. Wir waren für euch vor Ort und haben […]

nexus recap 2022 händlerbund

NEXUS Leipzig 2022 – Recap / Nachbericht mit allen wichtigen Infos

  • Jascha
  • von Jascha Ebert
  • 18.06.2022

Sommer, Sonne, NEXUS! Am Samstag, dem 18.06.2022 lud der Händlerbund Mitglieder, Interessierte und Aussteller zur Nexus-E-Commerce-Messe nach Leipzig. Neben zahlreichen Ständen konnten die Besucher zudem viele interessante Vorträge rund um das Thema E-Commerce besuchen. Unsere Kollegen von der SEO-Küche waren selbst als Aussteller dabei und haben euch die Eindrücke vor […]

Wird auch oft gesucht Google Funktion

Die Funktion „Wird auch oft gesucht“ bei Google

  • Narin
  • von Narin Ciftci
  • 16.06.2022

So funktioniert Google Autocomplete Das Feature „Wird auch oft gesucht“ von Google ist unter verschiedenen Begriffen wie ,,Google Suggest“ oder auch „Google Autocomplete“ bekannt. In den USA wurde sie 2008 und im darauf folgenden Jahr in Deutschland eingeführt. Es handelt sich um eine Funktion, mit welcher bereits bei der Worteingabe […]

Quelltext anzeigen Stage

Quelltext einer Webseite anzeigen lassen

  • Manuel Grosser
  • von Manuel Grosser
  • 08.06.2022

Quelltext anzeigen: So geht es in Firefox, Chrome, Edge und Opera Für die meisten von uns bietet eine Webseiten-Oberfläche alles, was man benötigt. Die Texte und Inhalte sind gut lesbar und meist auch gut einsehbar. Doch was, wenn die Inhalte mal nicht so angezeigt werden wie man sich das erhofft? […]