Skip to main content

Kein Noindex in der Robots.txt mehr?


PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafftDie Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

3 Menschen sitzen gemeinsam an einem Tisch, einer davon im Rollstuhl.

Warum „Normschön“ von gestern ist und wir heute Diversität im Marketing feiern

  • Sandra
  • von Sandra Poetzsch
  • 03.02.2025

Abb.1: Weil Repräsentation zählt! In einer Welt, die sich stetig wandelt und immer vernetzter wird, ist es längst an der Zeit, Diversität im Marketing nicht nur als Schlagwort, sondern als festen Bestandteil zu leben. Marken, die Diversität authentisch zeigen – sei es durch vielfältige Social-Media-Kampagnen, die Zusammenarbeit mit unterschiedlichsten Influencern […]

Person scrollt durch Bilderfeed auf Social Media App

Instagram – Neues Format! Quadratisch war gestern!

  • Sandra
  • von Sandra Poetzsch
  • 27.01.2025

Abb. 1: So sieht es nicht mehr aus. Instagram geht weg vom quadratischen grid. Rechteck ist das neue Quadrat Instagram schmeißt mal wieder alles um: Der Feed, bisher geprägt von quadratischen Kacheln, bekommt ein neues Gesicht. Ab sofort präsentiert sich das beliebte Format im Verhältnis 4:5 (1080 x 1350 Pixel). […]

junge Frau erhält Likes und Emoji-Reaktionen auf ihrem Handy und lacht glücklich

Social Listening: Der Schlüssel zu effektiver Markenkommunikation oder warum Sie aufhören sollten, Ihre Zielgruppe zu ghosten

  • Sandra
  • von Sandra Poetzsch
  • 20.01.2025

Aktives Zuhören ist nicht nur in zwischenmenschlichen Beziehungen das “A und O”, sondern auch in der Welt des Marketings. Gerade Produkte, Marken und Trends werden oft online von Usern besprochen. Hier kommt nun Social Listening ins Spiel – eine Methode, die weit über einfaches “Mithören” hinausgeht. Mit Social Listening können […]

ausblick auf 9 online marketing trends für 2025

Ausblick auf 9 Online-Marketing-Trends für 2025

  • von Luisa Losereit
  • 13.01.2025

Datenschutz, Nachhaltigkeit, ethische Aspekte und KI sind Themen, die aktuell und in Zukunft von Bedeutung sein werden. Ebenso im Online-Marketing, denn dies zeigt sich an den inspirierenden Marketing-Trends für 2025. Wir stellen Ihnen einige dieser Trends vor und geben Ihnen einen Einblick, was Sie in Ihre Marketing-Strategie und den Workflow […]

augmented reality

Augmented Reality in SEA und SEO

  • von Luisa Losereit
  • 13.01.2025

Ein Ausblick auf die Online-Marketing-Trends für 2025 hat gezeigt, dass Augmented Reality (AR) und Virtual Reality (VR) in Zukunft neue Dimensionen im Online-Shopping schaffen werden. Augmented Reality (AR) gilt als Game-Changer im Online-Marketing, da immersive Technologien immer mehr bestimmen, wie User online suchen und einkaufen. Während AR digitale Elemente in […]

Google News & Google Discover – So verbessern Sie Ihr Ranking!

Google News & Google Discover – So verbessern Sie Ihr Ranking!

  • Oliver Lindner / Gründer und Geschäftsführer
  • von Oliver Lindner
  • 27.12.2024

Publisher-Websites sind oft auf hohen Traffic angewiesen, um ihre Reichweite und Sichtbarkeit zu steigern. Google News und Google Discover können Ihnen dabei helfen, um diese Ziele zu erreichen. . Wir erläutern Ihnen, wie Sie Ihre Inhalte für diese Plattformen optimieren und wie Sie dadurch die SEO-Strategie und das Ranking verbessern. […]