Skip to main content

Warum die robots.txt so wichtig ist

  • SEO-Küche Logo


PDF herunterladen

Die robots.txt erklärt:

Eine robots.txt Datei ist eine einfache .txt-Datei in der UTF-8 Kodierung. Die Datei gibt den Suchrobotern / Bots die Empfehlung, welche Seiten / Dateien sie crawlen soll und welche nicht. Falls die robots.txt Symbole enthält, die nicht in UTF-8 kodiert sind, kann der Bot diese falsch interpretieren und bearbeiten.

Alle Regeln, die in der robots.txt aufgezählt sind, gelten nur für den Server auf der sie liegt. Die Datei sollte sich in dem Kernkatalog des Servers befinden. Beispielsweise so: https://www.seo-kueche.de/robots.txt. Die Dateigröße darf nicht mehr als 500 kB (laut Google) sein.

robots.txt-defintion-titel

Wie funktioniert die robots.txt?

Bei der Bearbeitung der Anweisungen in der robots.txt, bekommen die Suchroboter eine von drei Instruktionen:

2xx – Die Anfrage war erfolgreich. Die Antwort enthält je nach Abfragemethode die angeforderten Daten.

3xx – Umleitung. Der Suchroboter folgt nach der Umleitung solange, bis er andere Antwort bekommen wird. Meistens gibt es fünf Versuche, damit der Roboter die Antwort bekommen hat, ausgehend von der Antwort 3xx, dann wird es als der Fehler 404 registriert.

4xx – Client-Fehler. Der Crawler versteht das so, dass er den ganzen Inhalten der Webseite scannen darf.

5xx – Server-Fehler. Diese Fehler werden als vorübergehende Fehler des Servers bewertet. Das Scannen wird vollständig verboten. Der Bot wird sich Datei solange zuwenden, bis er eine andere Antwort bekommen wird. Der Google-Bot kann selbst bestimmen, ob die Rückmeldung der fehlenden Seite korrekt eingerichtet ist oder nicht. Das bedeutet, wenn die Seite den Status-Code 5xx anstatt 404 gibt, dann wird die Seite mit dem Status-Code 404 bearbeitet werden.

Wozu braucht man eine robots.txt überhaupt?

Eine robotos.txt Datei braucht eigentlich jede Website um:

  • Dem Crawler zu helfen, die Sitemap.xml zu finden
  • Die Suchmaschine daran zu hindern, bestimmte Verzeichnisse, Scripte etc. zu erreichen
  • Doppelte Inhalte nicht zu indexieren (z.B. Druckversion von HTML-Dateien)

Wichtig zu wissen: Wenn Ihr in der robots.txt eine bestimmte Seite vom Index ausgeschlossen habt, bedeutet es nicht 100%, dass diese Seite in den Suchergebnissen nicht erscheint. Es kann passieren, dass wenn eine andere Seite auf diese Seite verweist, dass diese Seite in den index kommt. Um das zu vermeiden, kann man die Seite mit Meta Tag: <META NAME=“ROBOTS“ CONTENT=“NOINDEX,FOLLOW“> bezeichnen.

So sieht der Google-Bot eine Website mit und ohne robots.txt:

robots.txt-erklärung-bild

Die wichtigsten Regeln und Befehle, die eine robots.txt enthalten kann

User-agent – bezeichnet, welcher Roboter die Instruktionen durchsehen muss, die in der robots.txt beschrieben sind.

Disallow – gibt die Empfehlung, welche Info / Seite / Verzeichnis der Robot nicht scannen braucht.

Sitemap – sagt dem Roboter, dass alle URLs die indexiert werden sollen, sich unter befinden

Crawl-delay – der Kennwert, mit dessen Hilfe man den Zeitraum bezeichnen kann, durch den die Seiten der Website gescannt werden können.

Allow – gibt die Empfehlungen, welcher Info / Seite / Verzeichnis der Robot scannen darf.

Fazit:

Mit Hilfe einer robots.txt Datei kann man die Indexierung von jeweiligem Pfad, Seite, Element etc. steuern. Eine korrekte und professionelle Erstellung und Einrichtung einer robots.txt ist sehr wichtig für den Erfolg der Webseite.

Titelbild © devenorr stock.adobe.com

Kommentare

Schöne Aufbereitung von euch. Viele Webmaster machen heutzutage noch den Fehler, bereits Indexiertes, was nicht indexiert werden soll, hastig über die robots.txt vom Crawling auszuschließen. Dadurch bleibt es natürlich erst recht drin.
nofollow first, dann Aussschluss über robots.txt ist das Verfahren, wie es richtig ist. Wobei ich da auch schon Seiten wiederkehren sehen habe, da sie – ich weiß es nicht – von zig anderen Domains so stark angelinkt worden sind, dass Google sich weigert…

Hallo und guten Morgen. Ich habe gerade mit grossen Interesse eure Seite über das Thema "Robots.Txt" gelesen, da ich mich im Augenblick damit befasse. Auch wenn der Artikel gut und einfach geschrieben ist, raucht mir zugegeben etwas der Kopf. Das Problem ist, dass bei meiner Uralt-Website (19 Jahre)
fast alle Unterseiten in GOOGLE ein ausgezeichnetes Ranking haben , fast alle auf Seite 1 în Top-Positionen jedoch die eigentliche Startseite einfach nicht nach vorne kommt, obwohl diese bezüglich SEO mit Abstand am besten optimiert ist. Ich kann machen was ich will. Sie geistert stets zwischen Position 45-60 herum.
Nun habe ich die Vermutung, dass eventuell die Robots.txt aufgrund falscher Konfiguration daran eine Mitschuld haben könnte. (Diese wurde nicht von mir, sondern von jemand anders erstellt)
Zur Zeit sieht diese wie folgt aus:

user-agent: *
Disallow:

Sitemap: http:// www. ( name website) .ch/sitemap.xml

Das "Disallow" irritiert mich nun etwas. Bedeutet dies nun, dass der Crawler die sitemap.xml NICHT (!) besuchen bzw. crawlen soll, )was vielleicht Einiges erklären würde) oder soll er die Sitemap.xml besuchen und sich an dieser orientieren?
Herzliche nDank für ein Feedback.
MfG.
Pascal

Hallo Pascal, vielen Dank für deinen Beitrag. Zu deiner Frage:

An deiner robots.txt wird es nicht liegen. Da nach „Disallow:“ nichts aufgeführt ist, haben die Crawler auch keine Einschränkungen. Das bedeutet also, die Crawler können sich auf deiner Seite frei bewegen.
Wenn die Startseite beispielsweise über die robots.txt ausgeschlossen wäre, so wären auch sämtliche Unterseiten für den Crawler ausgeschlossen, da dieser sich über die internen Verlinkungen von Seite zu Seite vorarbeitet.
Die Sitemap dient dem Crawler, wie du schon richtig sagst, als Orientierungshilfe, damit dieser den Aufbau der Seite besser verstehen kann, um so deine Inhalte besser finden zu können.
Eine mögliche Begründung für dein derzeitiges Ranking könnte der starke Wettbewerb für das jeweilige Keyword sein.


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Person betrachtet auf einem Smartphone und einem Laptop gleichzeitig detaillierte KPI-Dashboards mit Diagrammen und Statistiken zur Erfolgsmessung von Marketingmaßnahmen.

Die 7 wichtigsten KPIs zur Erfolgsmessung

  • Luisa Losereit, Online-Marketing-Beraterin (Onpage)
  • von Luisa Losereit
  • 14.07.2025

Ein zentrales Element im Optimierungsprozess ist die Erfolgsmessung anhand von Key Performance Indicators (KPI). Dabei sollte in bestimmten Zeitintervallen oder beim Erreichen von Milestones die neuen Maßzahlen mit den vorherigen Maßzahlen verglichen werden. Somit erhält man einen Einblick über den Erfolg und Fortschritt der Optimierung. Die wichtigsten KPIs zur Erfolgsmessung […]

Person bei der Budgetierung und Berechnung mit Taschenrechner und Notizbuch

SEA-Budgetierung – Wie viel Werbung braucht mein Unternehmen?

  • Luisa Losereit, Online-Marketing-Beraterin (Onpage)
  • von Luisa Losereit
  • 07.07.2025

Die Frage „Wie viel Werbung braucht mein Unternehmen“ ist eine der komplexesten Herausforderungen im Online-Marketing. Dabei geht sie weit über die Festlegung der finanziellen Mittel bzw. die bloße SEA-Budgetierung hinaus. Vielmehr geht es auch um die Wahl der optimalen Intensität und die Bestimmung des passenden Umfangs der Werbemaßnahmen für Ihr […]

Google Core Update Juni 2025 - Search Status Dashboard

Google rollt Juni Core Update 2025 aus – was sich aktuell beobachten lässt

  • marie berauer seo
  • von Marie
  • 03.07.2025

Die wichtigsten Fakten zum Juni Core Update 2025 auf einen Blick: Start: 30.06.2025 Rollout-Zeitraum: 3 Wochen Fokus: Qualität und Relevanz von Inhalten Empfohlene Maßnahmen für Betroffene: Content-Audit durchführen, Mehrwert klar erkennbar machen, E-E-A-T stärken Zum 30.06. startete der Rollout des Juni Core Update 2025. Laut Google handelt es sich dabei […]

Gestaltung von Wireframes und visuellen Elementen im UX-Design

Warum visuelle Elemente die Performance steigern

  • Luisa Losereit, Online-Marketing-Beraterin (Onpage)
  • von Luisa Losereit
  • 30.06.2025

Webdesign ist weitaus mehr als bloße Ästhetik und hat neben einem optisch ansprechenden Design auch technische, strukturelle und visuelle Funktionen zu erfüllen. Effektives Webdesign ist ein entscheidender Faktor, der die Performance einer Webseite maßgeblich beeinflusst – von der Nutzererfahrung bis zum Ranking. Vor allem die visuellen Elemente spielen in diesem […]

Person arbeitet an Blogartikel auf Laptop mit Notizblock und Smartphone

Die perfekte Blog-Strategie für KMU

  • Luisa Losereit, Online-Marketing-Beraterin (Onpage)
  • von Luisa Losereit
  • 23.06.2025

Der Unternehmensblog ist ein wichtiger Bestandteil der SEO-Strategie und kann für kleine und mittelständische Unternehmen (KMU) entscheidende Vorteile bieten – besonders dann, wenn man hohe Kosten für bezahlte Suchmaschinenwerbung (SEA) vermeiden möchte. Es ist eine kostengünstige Methode, mithilfe von informativen Inhalten, organischen Traffic auf Ihre Webseite zu leiten und somit […]

website traffic verluste titelbild

KI-Traffic messen: Wie Sie mit dem AI-Traffic-Insights-Dashboard Zugriffe über ChatGPT & Co. sichtbar machen

  • Oliver Lindner / Gründer und Geschäftsführer
  • von Oliver Lindner
  • 23.06.2025

KI-Traffic messen: Wie Sie mit dem AI-Traffic-Insights-Dashboard Zugriffe über ChatGPT & Co. sichtbar machen Die Art und Weise, wie Menschen online Informationen suchen, befindet sich in einem rasanten Wandel. Klassische Suchmaschinen wie Google bekommen zunehmend Konkurrenz durch KI-gestützte Systeme wie ChatGPT, Perplexity, Gemini oder Claude. Millionen von Nutzer:innen fragen nicht […]