Skip to main content

Kein Noindex in der Robots.txt mehr?

  • Geschrieben von Christoph am 09.07.2019

PDF herunterladen

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

Die Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Sie haben eine Frage oder Meinung zum Artikel?

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

social media recap januar 2021 titel

Social Media Rückblick für Februar 2021

  • von Julia
  • 26.02.2021

Was war in den sozialen Netzwerken im Februar los? Neuer Monat, neue News! Wir haben mal wieder alle wichtigen Neuigkeiten aus der Social Media Welt für Euch zusammengefasst. Yo, Yo, Yo Instagram – Was gibt ́s Neues? Live Streams mit mehreren Teilnehmern Wie lange haben wir bitte auf „Live Groups“ […]

google thin content

Google stellt Beispiele für Thin Content vor

  • von Christoph
  • 19.02.2021

Die vier Arten von Thin Content laut Google Immer wieder werden von Google hochwertige Inhalte empfohlen, um bessere Rankings zu erzielen. Content mit Qualität wird daher immer wichtiger, doch Webseitenbetreiber sollten auch wissen, welche Inhalte von Google als minderwertig betrachtet und daher im schlimmsten Fall sogar abgestraft werden. Google nennt […]

energielabel änderung onlinehandel abmahnung

Achtung, Elektro-Händler: Neue Energielabel ab März

  • von Haendlerbund
  • 12.02.2021

2021 müssen Onlinehändler bei Elektroartikeln aufpassen Jeder kennt die Energielabel, die anzeigen, wie effizient ein Gerät ist. Dabei sind Geräte der Klasse A schon lange nicht mehr das Beste, was man auf dem Markt bekommen kann. Mittlerweile geht die Skala von D bis A+++, wobei man die unteren Klassen kaum […]

social media recap januar 2021 titel

Social Media Rückblick: Januar 2021

  • Leonard
  • von Leonard Reska
  • 09.02.2021

Neues Jahr, Neue Updates! Was war auf Social Media los? Kurz und kompakt: Die wichtigsten Änderungen und Ankündigungen aus der Social Media Welt! Unser Social Media Rückblick. Facebook Facebook optimiert Seiten von Creatoren und Personen des öffentlichen Lebens Facebook schraubt mal wieder an der User Experience! Diesmal im Fokus: Die […]

social media trends 2021 titelbild

Social Media Trends 2021

  • von Julia
  • 04.02.2021

2020 war ein Jahr wie kein anderes! Rund 94% der Deutschen haben 2020 regelmäßig das Internet und Social-Media genutzt – auch die Vielfalt an Social-Media-Kanälen war nie größer!

lokale kampagne google ads title

Mit Lokalen Kampagnen bei Google Ads mehr Ladenbesuche erzielen

  • von Ulrike
  • 29.01.2021

Was sind Lokale Kampagnen? Lokale Kampagnen bei Google Ads ist darauf ausgelegt Ihre Offlineziele wie z.B. Ladenbesuche zu erreichen. Hierbei müssen die Standorte der zu bewerbenden Geschäfte angegeben werden. Dazu kann man entweder das Google My Business-Konto verknüpfen oder Affiliate-Standorte auswählen. Nachdem die Standorte und das Budget festgelegt sind, kann […]