Skip to main content

Das Crawling Budget

  • Geschrieben von SEO-Küche am 05.02.2014

PDF herunterladen

Netzwerk und Internet Heute stelle ich ein paar Möglichkeiten vor, wie ihr dem Crawler von Google das Leben richtig schwer machen könnt. Wer will schon eine gut gecrawlte und indexierte Seite haben? Also, wie kann ich mein Crawling Budget so ineffektiv wie nur möglich – verschwenden.

Punkt 1
Gestalte deine Seitenarchitektur so kompliziert wie nur möglich. Lasse ein Labyrinth entstehen. Mit 404-Fallen, komischen Weiterleitungen und so weiter.

Punkt 2
Versuche ein und denselben Inhalt mehrmals auf deiner Webseite unterzubringen. Hast du einen schönen Text? Kopiere ihn und setze ihn auf jede Unterseite.

Punkt 2.1.
Versuche auf jede Seite so wenig wie möglich Inhalt zu bringen. Bastle „dünne“ Seiten. Der Crawler mag es nicht, wenn er zu viel auf einer Seite sieht – lieber springt er auf viele Unterseiten auf denen wenig zu finden ist, als auf wenige Seiten, die voll mit Infos sind.

Punkt 3.
Die Ladegeschwindigkeit deiner Seite. Wir haben in Deutschland ein gutes Netzwerk. Wenn der Nutzer mal paar Sekunden warten muss, macht das gar nichts. Und der Crawler ist ja ein Programm – den stört es nicht, wenn es mal etwas länger dauert.

Punkt 4.
XML-Sitemap: Niemals! Beschäftige dich am besten gar nicht damit!

Nagut, jetzt mal ernsthaft.

Also, wie kann ich mein Crawling Budget so effektiv wie nur möglich – verwenden.
Das Crawling Budget für jede Domain bestimmt Google selbst. Seiten mit hohem Rank, Trust oder PageRank bekommen tendenziell mehr von dem Crawl-Budget ab. Die Indexierung ist ebenfalls nicht unendlich ausgedehnt (zumindest noch nicht), sondern es gibt ein zum Crawl-Budget analoges Indexierungs-Budget. Da beides begrenzt ist, wollen wir das meiste aus diesem herausholen. Wie machen wir das? Erstmal tun wir das genaue Gegenteil von den obigen Punkten. Zusätzlich ist die richtige Verwendung von robots.txt wichtig, um den Fokus des Bots auf die wirklich wichtigen Seiten zu lenken. Mit „Noindex“ wird die URL zwar gecrawlt, aber nicht indexiert, spart also Indexierungs-Budget. Eine Sitemap per XML ist ebenfalls absolute Pflicht. Versuche, nicht allzu viele Links auf deinen wichtigen Seiten zu haben. Also eine kluge, intuitive und einfache Seitenarchitektur, Menüstruktur und interne Verlinkungen. Kein Duplicate-Content, keine 404-Fehlerseiten und keine „unnötigen“ Seiten auf einer Domain zu haben, ist eigentlich eine Selbstverständlichkeit. Wenn möglich, repariere 404-Seiten – Weiterleitungen nur im Notfall, eine Reparatur ist sinnvoller!

Die obigen Punkte müssen regelmäßig überwacht werden. Mit Google Analytics und den Google Webmastertools sowie mit den Logfiles des Servers kann man Schwachstellen entdecken oder sehen, an welchen Stellen der Bot „hängt“. Denkt daran: Eine Seite ist, was der Google Bot von ihr kennt und wie er sie kennenlernt!

Keine Kommentare vorhanden


Hast du eine Frage oder Meinung zum Artikel? Schreib uns gerne etwas in die Kommentare.

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

black friday abmahnung

Schwarzer Tag für Markeninhaber: Black Friday wird für Werbedienstleistungen gelöscht

  • Händlerbund
  • von Haendlerbund
  • 27.07.2021

Der „Black Friday“ gehört im Online-Handel längst zu den etablierten Begriffen und zu jenen Festivitäten, die Händlern steigende Umsätze versprechen. Nachdem der Schnäppchen-Tag vor einigen Jahren aus den USA auch auf den deutschen Markt geschwappt kam, nahmen in der Vergangenheit immer mehr große und kleine Händler teil und stellten eigene […]

website traffic verluste titelbild

Website Traffic Verluste: So reagiert Ihr laut Google

  • christoph pawletko
  • von Christoph
  • 23.07.2021

Bricht auf einmal der Traffic auf Eurer Website ein, kann dies schnell zu Umsatzeinbußen führen. Manchmal sind die Ursachen schnell gefunden, doch oft kommt der Trafficeinbruch überraschend und selbst erfahrene SEOs fragen sich nach den Gründen. Statt jetzt panisch zu werden, sollten Webmaster jetzt zunächst genau die Ursachen untersuchen, rät […]

Die wichtigsten SEO-Tools für Profis

Die wichtigsten SEO-Tools

  • oliver lindner
  • von Oliver Lindner
  • 23.07.2021

Als Spezialisten für Online-Marketing wissen wir genau, wie wichtige eine professionelle Suchmaschinenoptimierung (SEO) tatsächlich ist: Nur die Webseiten, die bei den relevanten Suchmaschinen optimal gerankt werden, sind auch für Ihre potenziellen Kunden sichtbar und werden aufgerufen. Doch SEO ist eine komplexe Angelegenheit, denn sie umfasst nicht nur die Erstellung der […]

online handel e commerce innenstädte

Online-Handel versus Innenstädte?

  • Händlerbund
  • von Haendlerbund
  • 20.07.2021

Soll der Online-Handel für die Innenstädte zahlen? Im September ist Bundestagswahl und ein Thema mit dem sich die neue Bundesregierung danach auseinandersetzen muss, ist die Krise der Innenstädte. Vielerorts wird über Verödung geklagt und das nicht erst seit Beginn der Coronakrise. Daran, dass diese Herausforderung angegangen werden muss, bestehen wenig […]

gendern seo stager tastatur

Gendern und SEO: Unsere Tipps

  • Alexandra
  • von Alexandra
  • 16.07.2021

Gendern und SEO – das solltet Ihr für ein erfolgreiches gendergerechtes SEO beachten Das Thema der genderneutralen Sprache pulsiert und gewinnt zunehmend an Bedeutung. So sind mittlerweile unterschiedlichste Branchen dazu übergegangen, die Inhalte ihres Internetauftritts gendersensibel zu formulieren. Gendern und SEO wird also ein Thema werden. Von dieser Entwicklung scheint […]

EU-Umsatzsteuerreform tipps

EU-Umsatzsteuerreform: Darauf müssen Online-Händler achten

  • Händlerbund
  • von Haendlerbund
  • 12.07.2021

Seit dem 1. Juli wird der Online-Handel in Europa ordentlich aufgemischt. Jetzt nämlich gelten die Regelungen, die durch die EU-Umsatzsteuerreform eingeführt werden. Was den E-Commerce im europäischen Binnenmarkt eigentlich stärken und vor allem eine Erleichterung für Händler sein sollte, wird jetzt aber zu einer echten Herausforderung. Online-Händler müssen zuerst einmal […]