Skip to main content

Kein Noindex in der Robots.txt mehr?

  • christoph pawletko


PDF herunterladen

Artikellesezeit
Dieser Beitrag hat 298 Wörter. Es dauert ca. 1 Minute/n, diesen Beitrag zu lesen.

Ab 01.09.: Google schafft Noindex und Nofollow in der Robots.txt ab

google-robots.txt-noindex-abgeschafftDie Robots.txt ist seit über zwei Jahrzehnten der inoffizielle Standard, der Suchmaschinen-Crawlern vorgibt, welche Teile einer Website durchsucht und welche ignoriert werden. Google kündigte nun an, das Robots-Exklusion-Standard-Protokoll (REP) zu einem richtigen Internet-Standard zu machen. Im Zuge dessen sollen nun aber auch bisher angewandte Regeln abgeschafft werden, weil diese laut Google extrem selten genutzt werden. Außerdem ist der Code der Robots.txt nun auch open source. Warum die Robots.txt so wichtig ist, erfahrt Ihr hier.

Folgende Befehle werden ab 01.09.19 keine Beachtung mehr finden:

  • Noindex
  • Nofollow
  • Crawl-delay

Grund für diese Änderung ist, dass diese Anweisungen nur in 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.

Google empfiehlt Alternativen für Noindex und co.

Für Webmaster gibt Google Alternativen an, zum Beispiel folgenden Vorgehensweisen:

  • Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
  • Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
  • Mit 404- oder 410-Status-Codes kann de Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
  • Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
  • Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.

Unser Tipp:

0,001 Prozent mag wenig klingen, jedoch wird gerade der Noindex-Befehl von SEOs recht häufig genutzt. Die Änderung sollte also jedem SEO bis September Anlass geben, seine Seiten gründlich zu überprüfen. Ansonsten landen Seiten auf dem Google Index, die dort nicht gewollt sind.

Titelbild © devenorr – stock.adobe.com

Beitragsbild © Alexander – stock.adobe.com

Kommentare

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein "Normalo-Webseitenbetreiber" hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginnere hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Liebe Christine,
stimme Dir in fast allem zu, nur nicht mit Deiner Conclusio im letzten Satz.
Nicht SEO nimmt Überhand, sondern Google verunsichert durch die Algorithmus-Änderungen (Updates) viele Do-it-yourself und Möchtegern-SEOs so sehr, dass sie doch lieber zur vermeintlich sicheren Google Ads greifen.
Auch ein Kleinunternehmer sollte sich klar machen, dass es ohne Google nicht geht und sich die Frage stellen, ob er Google viel Geld bezahlen will für Klicks oder lieber sinnvolle/nützliche/unterhaltsame Inhalte auf seiner Website und die vernünftig gestalten und beschildern.
Wir sind uns doch sicher einig: Langfristig kommt SEO-Abstinenz teuer zu stehen…

ähhhm seid ihr euch echt sicher, dass ihre den Artikel weiterhin online haben wollt? Denn das ist mein heutiges Ergebnis mit dem Webmaster Tool 11.09.2020 "Abdeckung Durch "noindex"-Tag ausgeschlossen" und darunter "Indexierung zulässig?

Nein: "noindex" im Meta-Tag "robots" erkannt"
Das passt ja so gar nicht zu obiger Aussage.
BG Max


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Titelbild SERP OVerlap

Mit SERP Overlap zur Content Struktur

  • von Sebastian Kraus
  • 18.07.2024

Artikellesezeit Dieser Beitrag hat 780 Wörter. Es dauert ca. 3 Minute/n, diesen Beitrag zu lesen. Website-Content datenbasiert strukturieren Die Content Struktur ist eines der wichtigsten Kriterien, wenn es um den Aufbau Ihrer Website geht. Die Struktur entscheidet darüber, welche Dokumente auf einer Website angelegt werden und für welche Keywords diese […]

Bing SEO

Bing-SEO: So rankt ihr bei der Microsoft Suchmaschine

  • christoph pawletko
  • von Christoph
  • 12.07.2024

Artikellesezeit Dieser Beitrag hat 1302 Wörter. Es dauert ca. 4 Minute/n, diesen Beitrag zu lesen. SEO für Bing: Warum Suchmaschinenoptimierung außerhalb von Google lohnenswert sein kann Obwohl Google unangefochten der Gigant unter den Suchmaschinen ist und mit einem Marktanteil von über 90% die Internetlandschaft dominiert, gibt es dennoch gute Gründe, […]

Stellenanzeigen optimieren: SEO im Recruiting

  • christoph pawletko
  • von Christoph
  • 04.07.2024

Artikellesezeit Dieser Beitrag hat 951 Wörter. Es dauert ca. 3 Minute/n, diesen Beitrag zu lesen. Tipps für mehr Bewerbende: SEO für Stellenanzeigen In der heutigen digitalen Welt reicht es nicht mehr aus, einfach nur Stellenanzeigen auf Jobportalen zu veröffentlichen und auf qualifizierte Bewerber zu warten. Unternehmen, die die besten Talente […]

Nützliche Chrome Extensions für die Suchmaschinenoptimierung

Nützliche Chrome Extensions für die Suchmaschinenoptimierung (SEO)

  • SEO-Küche Logo
  • von SEO-Küche
  • 02.07.2024

Artikellesezeit Dieser Beitrag hat 522 Wörter. Es dauert ca. 2 Minute/n, diesen Beitrag zu lesen. Suchmaschinenoptimierung (SEO) ist ein wesentlicher Bestandteil des Online-Marketings, um die Sichtbarkeit einer Website in den Suchmaschinenergebnissen zu verbessern. Die richtige Nutzung von Chrome Extensions kann dabei eine enorme Hilfe sein. Hier sind einige der nützlichsten […]

SEO Küche Glossar

Ein Glossar als SEO-Strategie: Warum es so wirkungsvoll ist

  • Oliver Lindner / Gründer und Geschäftsführer
  • von Oliver Lindner
  • 23.06.2024

Artikellesezeit Dieser Beitrag hat 699 Wörter. Es dauert ca. 2 Minute/n, diesen Beitrag zu lesen. Die Optimierung der eigenen Website für Suchmaschinen ist eine der zentralen Aufgaben im Online-Marketing. Ein effektives Werkzeug, das dabei oft unterschätzt wird, ist das Glossar bzw. Lexikon. In diesem Beitrag zeigen wir, warum das Erstellen […]

Campixx 2024 Recap

Unser Campixx 2024 Recap

  • christoph pawletko
  • von Christoph
  • 17.06.2024

Artikellesezeit Dieser Beitrag hat 842 Wörter. Es dauert ca. 3 Minute/n, diesen Beitrag zu lesen. Das war die Campixx 2024 Die Campixx 2024 ist schon wieder vorbei und für uns ist es Zeit kurz zurückzublicken, oder anders: Unser Campixx 2024 Recap. Die diesjährige Campixx fand im Van der Falk Hotel […]