Skip to main content

Das Crawling Budget

  • Geschrieben von SEO-Küche am 05.02.2014

PDF herunterladen

Netzwerk und InternetHeute stelle ich ein paar Möglichkeiten vor, wie ihr dem Crawler von Google das Leben richtig schwer machen könnt. Wer will schon eine gut gecrawlte und indexierte Seite haben? Also, wie kann ich mein Crawling Budget so ineffektiv wie nur möglich – verschwenden.

Punkt 1
Gestalte deine Seitenarchitektur so kompliziert wie nur möglich. Lasse ein Labyrinth entstehen. Mit 404-Fallen, komischen Weiterleitungen und so weiter.

Punkt 2
Versuche ein und denselben Inhalt mehrmals auf deiner Webseite unterzubringen. Hast du einen schönen Text? Kopiere ihn und setze ihn auf jede Unterseite.

Punkt 2.1.
Versuche auf jede Seite so wenig wie möglich Inhalt zu bringen. Bastle „dünne“ Seiten. Der Crawler mag es nicht, wenn er zu viel auf einer Seite sieht – lieber springt er auf viele Unterseiten auf denen wenig zu finden ist, als auf wenige Seiten, die voll mit Infos sind.

Punkt 3.
Die Ladegeschwindigkeit deiner Seite. Wir haben in Deutschland ein gutes Netzwerk. Wenn der Nutzer mal paar Sekunden warten muss, macht das gar nichts. Und der Crawler ist ja ein Programm – den stört es nicht, wenn es mal etwas länger dauert.

Punkt 4.
XML-Sitemap: Niemals! Beschäftige dich am besten gar nicht damit!

Nagut, jetzt mal ernsthaft.

Also, wie kann ich mein Crawling Budget so effektiv wie nur möglich – verwenden.
Das Crawling Budget für jede Domain bestimmt Google selbst. Seiten mit hohem Rank, Trust oder PageRank bekommen tendenziell mehr von dem Crawl-Budget ab. Die Indexierung ist ebenfalls nicht unendlich ausgedehnt (zumindest noch nicht), sondern es gibt ein zum Crawl-Budget analoges Indexierungs-Budget. Da beides begrenzt ist, wollen wir das meiste aus diesem herausholen. Wie machen wir das? Erstmal tun wir das genaue Gegenteil von den obigen Punkten. Zusätzlich ist die richtige Verwendung von robots.txt wichtig, um den Fokus des Bots auf die wirklich wichtigen Seiten zu lenken. Mit „Noindex“ wird die URL zwar gecrawlt, aber nicht indexiert, spart also Indexierungs-Budget. Eine Sitemap per XML ist ebenfalls absolute Pflicht. Versuche, nicht allzu viele Links auf deinen wichtigen Seiten zu haben. Also eine kluge, intuitive und einfache Seitenarchitektur, Menüstruktur und interne Verlinkungen. Kein Duplicate-Content, keine 404-Fehlerseiten und keine „unnötigen“ Seiten auf einer Domain zu haben, ist eigentlich eine Selbstverständlichkeit. Wenn möglich, repariere 404-Seiten – Weiterleitungen nur im Notfall, eine Reparatur ist sinnvoller!

Die obigen Punkte müssen regelmäßig überwacht werden. Mit Google Analytics und den Google Webmastertools sowie mit den Logfiles des Servers kann man Schwachstellen entdecken oder sehen, an welchen Stellen der Bot „hängt“. Denkt daran: Eine Seite ist, was der Google Bot von ihr kennt und wie er sie kennenlernt!

Keine Kommentare vorhanden


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

contentbär

Contentbär – Der SEO Contest 2021

  • SEO-Küche Logo
  • von SEO-Küche
  • 10.05.2021

Contentbär. Ein Fantasiewort. Noch! Denn schon in wenigen Wochen wird Contentbär nicht nur SEOs, sondern vor allem auch Google ein Begriff sein. Beim jährlichen SEO-Contest von SEO-Vergleich.de erstellen und optimieren SEO-Junkies Websites, um genau für dieses Keyword zu ranken. Unser Ziel dabei ist klar: Position 1 für das Keyword Contentbär! […]

Social-Media-Marketing für die Hotellerie

Social-Media-Marketing für die Hotellerie

  • oliver lindner
  • von Oliver Lindner
  • 06.05.2021

In den letzten Jahren hat Social-Media-Marketing für die Hotellerie immer mehr an Bedeutung gewonnen. Zwei wichtige Social-Media-Kanäle für das Marketing in dieser Branche sind zum Beispiel Instagram und Facebook. Aber was macht Social-Media so interessant für die Hotellerie? Und ist es wirklich lohnenswert, wenn Hotelunternehmen in professionelles Social-Media-Marketing investieren? Anhand […]

social media recap januar 2021 titel

Social Media Rückblick April 2021

  • julia bartulovic
  • von Julia
  • 05.05.2021

Alle Socia Media News: Unser Social Media Rückblick für den April April, April, der macht was er will! Auch in der Social-Media-Welt kehrte im April keine Ruhe ein. Wie immer haben wir für euch alle wichtigen Änderungen und Ankündigungen rund um Facbook, Instagram, TikTok & Co. in unserem Social Media […]

google bewertungen stagebild

Bewertungen in Google My Business: Unsere Tipps

  • michael magura
  • von Michael
  • 04.05.2021

Online-Bewertungen sind ein wichtiger Faktor bei der Auswahl von Produkten und Dienstleistungen durch Nutzer im Internet.

Online Konferenz

Google Commerce Camp 2021- Unser Recap

  • Nina
  • von Nina Weller
  • 29.04.2021

Unser Eindruck vom Google Commerce Camp 2021  Auch 2021 veranstaltete der Händlerbund wieder das Google Commerce Camp. Eine Digitalkonferenz für alle Neulinge im Online-Geschäft, die sich in die Google–Produkte einarbeiten wollen oder solche, die Ihre Kenntnisse noch ausbauen möchten.  Also hieß es am 21. Und 22. April 2021: Lasst uns über Google sprechen! Zwei Tage, zwei Bühnen – […]

Online-Marketing in der Corona-Krise bietet große Chancen

Online-Marketing in der Corona-Krise bietet große Chancen

  • oliver lindner
  • von Oliver Lindner
  • 25.04.2021

Die Corona-Krise hält bereits über ein Jahr an und hinterlässt eine große wirtschaftliche Unsicherheit. Aber gerade jetzt können Sie Online-Marketing nutzen, um die negativen Effekte der Krise deutlich abzuschwächen, während andere Unternehmen möglicherweise versuchen, ihre Kosten oder Dienstleistungen zu senken. Mit Online-Marketing können Sie nachhaltiges Wachstum entwickeln. Wir unterstützen Sie […]