Skip to main content

Crawling Budget und 404 vs. 410

  • SEO-Küche Logo


PDF herunterladen

404 Fehler Zum Wochenstart eine kleine Auffrischung in Sachen Crawling Budget und 404 vs. 410. Nicht die spannendste Schlagzeile (im Gegensatz zu Panda 4.0 in der letzten Woche) aber eine häufige Quelle für SEO-Fehler, die eigentlich sehr einfach ausgemerzt werden können.

Um was geht es? Um das Crawling Budget und dessen Verbindung mit 404 bzw. 410 Fehlercodes.

Das Crawling Budget
Googles Crawler indexieren alle deine Unterseiten – aber nicht alle Unterseiten sofort. Jede Domain bekommt, je nach PageRank, ein Crawling-Budget zugewiesen. Dieses legt fest, wie viele Unterseiten gecrawlt werden. Seiten mit einem hohem PageRank bekommen mehr Budget zugewiesen. Wichtig: Das Crawling-Budget ist nicht gleich dem Index-Budget. Dieses legt fest, wie viele Seiten indexiert werden können. Logisch ist das Index-Budget dem Crawling-Budget nachgestellt: erst wird gecrawlt, dann indexiert.

Bildlich gesprochen: Im Internetland gibt es viele viele Häuser (= Domains). Google entsendet Inspekteure (= Crawler) in diese Häuser um die einzelnen Zimmer (= Unterseiten) anzuschauen und zu indexieren. Die Inspekteure gehen aber nicht wahllos von Haus zu Haus, sondern bevorzugen die bekannten, tollen Häuser (= Seiten mit einem hohem PageRank). Weniger schöne Häuser bekommen auch weniger Besuch von den Inspekteuren und diese haben dann auch weniger Zeit alle Zimmer anzuschauen (= Crawling Budget). Und es ist natürlich unschön, wenn ein Inspekteur einen Raum anschauen will, dort aber nichts zu finden ist (= 404-Fehler). Seine Zeit hätte er auch für Räume benutzen können, in denen etwas steht. Steht an der Tür aber so etwas wie „Hier ist nichts drin“ (= 410-Code), wird der Inspekteur direkt zur nächsten Türe gehen ohne seine Zeit zu verschwenden.

410-Code und weitere Möglichkeiten Budget zu sparen.
Ok, genug der Bildsprache. Hat eine Domain eine 404-Fehlerseite, ist das einfach ärgerlich. Bleibt dieser 404-Code bestehen, wird der Crawler immer wieder auf die Seite kommen um nachzuschauen ob sich etwas auf der Seite geändert hat. Weiß man aber, dass die Seite permanent leer bleiben wird, dann zeichnet man die Seite mit einem 410-Code aus. In Zukunft wird sich der Crawler also nicht mehr die Mühe machen, diese Seite anzuschauen – sondern seine Zeit für tatsächlich existierende Seiten aufbrauchen.

Um das Crawling-Budget effektiv einzusetzen, ist es ratsam, unwichtige Seiten wie Kontaktformulare, das Impressum (meines Erachtens) etc. mit Hilfe der robots.txt auszuschließen. Seiten die unbedingt gecrawlt werden sollen, verlinkt man intern stark und versucht für diese, Backlinks zu generieren.

Welche Seiten gecrawlt werden sollen und welche eher nicht, ist von der Art der Webseite abhängig: Im B2B-Bereich ist das Impressum häufig gut besucht, ebenso wie Kontaktformulare: Eine Sperrung mit robots.txt wäre hier nicht sinnvoll, da diese Seiten häufig Leads generieren. Ein Online-Shop hingegen, hat andere URLs als das Impressum, mit denen er Konversionen erzielt: hier würde es Sinn machen, das Impressum einfach im Footer zu verlinken, aber ansonsten zu sperren.

Eine ordentliche XML-Sitemap, in der die wichtigsten Seiten ausgezeichnet werden sowie eine möglichst flache Seitenarchitektur helfen dem Crawler, sich schneller zurecht zu finden. Bleibt die eigene Seite dauerhaft konstant, wird also nicht regelmäßig neuer Content eingestellt, Stichwort “Freshness Update”, reduziert Google den Besuch von Crawlern auf der Seite.

P.S.: Es gibt Hinweise darauf, dass der Google Browser Chrome tatsächlich ein Google Crawler-Bot ist. Ein Hinweis findet ihr hier, einen anderen hier. Ich werde mal schauen, was da dran ist und halte euch auf dem Laufenden…

Kommentare

Servus Tilmann,

danke für deinen interessanten Beitrag. Insbesondere finde ich den Ansatz mit 410 statt 404 sehr interessant. Wo ich allerdings widersprechen muss ist der Punkt mit der Sperrung von Impressum, Kontaktformular, etc via robots.txt. Diese Seiten sind i.d.R. stark intern verlinkt und erhalten somit viel Linkjuice. Sperrt man diese nun über die robots.txt, kommt der Crawler dort natürlich immer noch hin, liest die Seiten aber nicht und folgt letztendlich auch nicht den dort befindlichen Links. Hierdurch wird Linkjuice verschwendet und auf das Crawlbudget hat es keinen Effekt.

Viele Grüße

Tobias

Tilmann Klosa

Servus Tobi,

danke für dein Kommentar. Du hast Recht, ich möchte aber einschränken: Ja, vor allem im B2B-Bereich sind Impressum o.ä. stark verlinkt und nützlich für die Kundenakquise. Bei Online-Shops mit mehreren hundert Artikeln, spielt das Impressum aber eine untergeordnete Rolle. Bei komplexeren Dienstleistungen, bspw. die Installation von Solarmodulen, spielt das Kontaktformular eine größere Rolle. Von daher kommt es auf die Art der Webseite und des Konversionsziel an, ob man Impressum/Kontakformular sperrt oder nicht.
Werde den Beitrag aber entsprechend anpassen, danke für den Hinweis!

Grüße
Tilmann


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

Verpackungsgesetz Juli 2022

Verpackungsgesetz: Darauf müssen Onlinehändler ab Juli achten

  • Händlerbund
  • von Haendlerbund
  • 04.07.2022

Diese wichtigen Änderungen kommen zum 1. Juli 2022 im Verpackungsgesetz Registrierung für das Verpackungsregister, Handel auf Marktplätzen und Fulfillment – Im VerpackG kommt es zu einigen Anpassungen mit großer Bedeutung für den E-Commerce. Seit 2019 beschäftigt das Verpackungsgesetz insbesondere den Online-Handel mit diversen Aufgaben – beispielsweise der Systembeteiligungspflicht und der […]

BVDW Zertifikat SEO-Küche

Die SEO-Küche erhält das BVDW-Qualitätszertifikat SEO

  • oliver lindner
  • von Oliver Lindner
  • 27.06.2022

Suchmaschinenoptimierung ausgezeichnet mit dem BVDW-Zertifikat Das ist ein Grund zum Feiern: Die SEO-Küche wurde vom Bundesverband Digitale Wirtschaft e.V. (BVDW) mit dem SEO-Qualitätszertifikat ausgezeichnet. Nach einer ausführlichen und unabhängigen Prüfung, bei der eine Jury die Qualität unserer Arbeit nach verschiedenen Kriterien bewertet hat, haben wir das begehrte Zertifikat erhalten. Im […]

OMT Agency Day 2022

OMT Agency Day 2022 – Recap mit allen wichtigen Kernaussagen

  • rainer winkler
  • von Rainer
  • 25.06.2022

Am 24.06.2022 war es wieder soweit: pünktlich um 09:45 startete der Gastgeber Mario Jung mit der Begrüßung zum diesjährigen OMT-Agency Day in der Pyramide-Mainz Eventlocation.  Der Agency-Day wurde ins Leben gerufen, um Herausforderungen innerhalb der Online-Marketing-Branche zu besprechen und voneinander zu lernen. Wir waren für euch vor Ort und haben […]

nexus recap 2022 händlerbund

NEXUS Leipzig 2022 – Recap / Nachbericht mit allen wichtigen Infos

  • Jascha
  • von Jascha Ebert
  • 18.06.2022

Sommer, Sonne, NEXUS! Am Samstag, dem 18.06.2022 lud der Händlerbund Mitglieder, Interessierte und Aussteller zur Nexus-E-Commerce-Messe nach Leipzig. Neben zahlreichen Ständen konnten die Besucher zudem viele interessante Vorträge rund um das Thema E-Commerce besuchen. Unsere Kollegen von der SEO-Küche waren selbst als Aussteller dabei und haben euch die Eindrücke vor […]

Wird auch oft gesucht Google Funktion

Die Funktion „Wird auch oft gesucht“ bei Google

  • Narin
  • von Narin Ciftci
  • 16.06.2022

So funktioniert Google Autocomplete Das Feature „Wird auch oft gesucht“ von Google ist unter verschiedenen Begriffen wie ,,Google Suggest“ oder auch „Google Autocomplete“ bekannt. In den USA wurde sie 2008 und im darauf folgenden Jahr in Deutschland eingeführt. Es handelt sich um eine Funktion, mit welcher bereits bei der Worteingabe […]

Quelltext anzeigen Stage

Quelltext einer Webseite anzeigen lassen

  • Manuel Grosser
  • von Manuel Grosser
  • 08.06.2022

Quelltext anzeigen: So geht es in Firefox, Chrome, Edge und Opera Für die meisten von uns bietet eine Webseiten-Oberfläche alles, was man benötigt. Die Texte und Inhalte sind gut lesbar und meist auch gut einsehbar. Doch was, wenn die Inhalte mal nicht so angezeigt werden wie man sich das erhofft? […]