Skip to main content

Kein Noindex in der Robots.txt mehr?

  • christoph pawletko


PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafft Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Browser Cache leeren

Darum sollten SEOs immer den Browser Cache leeren

  • christoph pawletko
  • von Christoph
  • 02.12.2022

Was ist der Browser Cache überhaupt? Als Cache wird der Zwischenspeicher für Inhalte einer Website bezeichnet. Dabei werden Daten entweder auf dem Rechner oder auf einem externen Server gespeichert. Daher wird zwischen Browser Caching und serverseitigem Caching unterschieden. Wenn Seiten erneut aufgerufen werden, müssen die Daten nicht nochmal neu aus […]

Fake-Shop erkennen

Fake-Shops erkennen und sicher online einkaufen

  • christoph pawletko
  • von Christoph
  • 24.11.2022

Fake-Shops: So erkennt Ihr Betrüger Online Shops Fake-Shops werden immer professioneller und es gibt immer mehr. Auf den ersten Blick lässt sich oft kaum noch erkennen, ob ein Online-Shop seriös oder auf Betrug aus ist. Gerade zu Weihnachten wittern Betrüger ihre Chance, denn jetzt kaufen oft auch im Internet unerfahrene […]

seokomm 2022 recap salzburg

SEOKomm 2022 Recap – Nachbericht mit allen Kernaussagen

  • rainer winkler
  • von Rainer
  • 18.11.2022

Am Freitag den 18.11.2022 war es wieder soweit: Die jährliche SEOkomm fand unter hoher Teilnahme in Bergheim bei Salzburg statt. Wir waren für euch dabei, haben alle Beiträge besucht und die wichtigsten Kernaussagen für euch in diesem Beitrag zusammengestellt. Hinweis: Dieser Beitrag wird laufend aktualisiert Eröffnung 09:00 Uhr: Tobias Fox […]

Titelbild externe ressourcen laden

Google Fonts & Co.: Webseiten auf ungefragtes Laden von externen Ressourcen prüfen

  • michael magura
  • von Michael
  • 17.11.2022

Google Fonts & Co.: Webseiten auf das ungefragte Laden von externen Ressourcen überprüfen Viele Website-Betreiber*innen nutzen auf ihren Websites Ressourcen, die nicht von der eigenen Domain abgerufen, sondern dynamisch von anderen Quellen eingebunden werden. Dazu zählen beispielsweise JavaScript-Code-Snippets zur Aussteuerung von Tracking Tools wie Google Analytics oder das Facebook Pixel, […]

News 2023

Das ist neu in der SEO-Küche ab 2023

  • oliver lindner
  • von Oliver Lindner
  • 11.11.2022

Jeder entscheidet selbst: Mobile Office oder im Büro Von zu Hause im Mobile-Office arbeiten oder doch im Büro? Ab Januar 2023 können bei uns alle Mitarbeiter*innen selbst entscheiden, wie viele Tage sie ins Büro kommen wollen. Auch 100% Mobile-Office wird so möglich. Damit bieten wir unseren Kolleg*innen noch mehr Flexibilität […]

YouTube Alias neu

Neue Funktion bei YouTube: Aliasse

  • christoph pawletko
  • von Christoph
  • 11.11.2022

YouTube führt Aliasse ein Seit November können Nutzer*innen bei YouTube einen Alias reservieren. Das soll den Austausch von Nutzer*innen untereinander und mit Creator*innen auf YouTube erleichtern und auch die Möglichkeit bieten, außerhalb von YouTube Werbung für den eigenen Kanal zu machen. So könnt Ihr euren Alias auf YouTube reservieren: Loggt […]