Skip to main content

Kein Noindex in der Robots.txt mehr?

  • Geschrieben von Christoph am 09.07.2019

PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

blog für onlineshop sinnvoll

Braucht ein Online Shop einen Blog?

  • christoph pawletko
  • von Christoph
  • 13.10.2021

Content ist King. Diesen Satz liest und hört man seit Jahren, wenn es um Erfolg im Online-Bereich geht. Gerade für Online Shops kann gutes Content Marketing den entscheidenden Unterschied ausmachen, um vor der Konkurrenz zu landen. Content Marketing ist mittlerweile für den E-Commerce Bereich so wichtig, dass schon von Content […]

online marketing weihnachten tipps

Das müssen SEOs für die Weihnachtszeit beachten

  • christoph pawletko
  • von Christoph
  • 01.10.2021

Noch ist der Sommer nicht lange vorbei, doch als SEO denkt man immer einige Monate voraus. Schon jetzt lohnt es sich, für die Weihnachtszeit zu planen, denn traditionsgemäß werden in den letzten Wochen vor Jahresende im E-Commerce die besten Umsätze gemacht. Da viele Maßnahmen etwas Zeit benötigen, um ihre volle […]

produktbeschreibungen duplicate content google meinung

Das passiert, wenn Ihr Eure Produkttexte einfach vom Hersteller kopiert

  • christoph pawletko
  • von Christoph
  • 23.09.2021

Viele Webseitenbetreiber stehen vor dem Problem, dass sie für viele Tausend Produkte in Ihren Onlineshops kaum für jedes einzelne Produkt eigene Produkttexte erstellen können. Oft werden dann die Produktbeschreibungen vom Hersteller übernommen, was jedoch zu Duplicate Content führen kann. Solche doppelten Inhalte will man in der Regel vermeiden, da diese […]

degut 2021 arena berlin

Die deGUT lädt ein – Wir sind dabei

  • christoph pawletko
  • von Christoph
  • 17.09.2021

Mit vielen Seminaren, Workshops und Infos rund um Existenzgründung und Unternehmertum können sich Teilnehmer am 29. Und 30. Oktober bei den Deutschen Gründer- und Unternehmertagen in der ARENA Berlin informieren und beraten lassen. Nach langer Zeit ohne Veranstaltungen ist die SEO-Küche auch wieder dabei und bietet Interessierten die Möglichkeit ins […]

linkmaskierung tipps tricks

Linkmaskierung – Arglistige Täuschung oder sinnvoll?

  • team female
  • von Annemarie D.
  • 15.09.2021

Wer bei Linkmaskierung an Masken denkt, hat schnell Bilder von bunten Karnevalsumzügen im Kopf, bei denen die Menschen in andere Rollen schlüpfen und sein können, wer sie sein wollen. Masken werden aber auch genutzt, wenn jemand nicht erkannt werden will. Das ist bei kriminellen Aktivitäten wie Einbrüchen und Banküberfällen oft […]

domain expired für links

Expired Domains: Potenziale und Gefahren für den Linkaufbau

  • team female
  • von Annemarie D.
  • 07.09.2021

Webseitenbetreiber und auch SEOs investieren nach wie vor viel Zeit in einen nachhaltigen und gesunden Linkaufbau. Kein Wundern, denn immer noch ist das Linkprofil ein wichtiger Rankingfaktor für Google. Die Möglichkeiten, qualitativ hochwertige Links aufzubauen, sind nach wie vor enorm vielfältig und reichen von Branchenbuch-Links und Links in Foren über […]