Skip to main content

Das Crawling Budget

  • Geschrieben von SEO-Küche am 05.02.2014

PDF herunterladen

Netzwerk und InternetHeute stelle ich ein paar Möglichkeiten vor, wie ihr dem Crawler von Google das Leben richtig schwer machen könnt. Wer will schon eine gut gecrawlte und indexierte Seite haben? Also, wie kann ich mein Crawling Budget so ineffektiv wie nur möglich – verschwenden.

Punkt 1
Gestalte deine Seitenarchitektur so kompliziert wie nur möglich. Lasse ein Labyrinth entstehen. Mit 404-Fallen, komischen Weiterleitungen und so weiter.

Punkt 2
Versuche ein und denselben Inhalt mehrmals auf deiner Webseite unterzubringen. Hast du einen schönen Text? Kopiere ihn und setze ihn auf jede Unterseite.

Punkt 2.1.
Versuche auf jede Seite so wenig wie möglich Inhalt zu bringen. Bastle „dünne“ Seiten. Der Crawler mag es nicht, wenn er zu viel auf einer Seite sieht – lieber springt er auf viele Unterseiten auf denen wenig zu finden ist, als auf wenige Seiten, die voll mit Infos sind.

Punkt 3.
Die Ladegeschwindigkeit deiner Seite. Wir haben in Deutschland ein gutes Netzwerk. Wenn der Nutzer mal paar Sekunden warten muss, macht das gar nichts. Und der Crawler ist ja ein Programm – den stört es nicht, wenn es mal etwas länger dauert.

Punkt 4.
XML-Sitemap: Niemals! Beschäftige dich am besten gar nicht damit!

Nagut, jetzt mal ernsthaft.

Also, wie kann ich mein Crawling Budget so effektiv wie nur möglich – verwenden.
Das Crawling Budget für jede Domain bestimmt Google selbst. Seiten mit hohem Rank, Trust oder PageRank bekommen tendenziell mehr von dem Crawl-Budget ab. Die Indexierung ist ebenfalls nicht unendlich ausgedehnt (zumindest noch nicht), sondern es gibt ein zum Crawl-Budget analoges Indexierungs-Budget. Da beides begrenzt ist, wollen wir das meiste aus diesem herausholen. Wie machen wir das? Erstmal tun wir das genaue Gegenteil von den obigen Punkten. Zusätzlich ist die richtige Verwendung von robots.txt wichtig, um den Fokus des Bots auf die wirklich wichtigen Seiten zu lenken. Mit „Noindex“ wird die URL zwar gecrawlt, aber nicht indexiert, spart also Indexierungs-Budget. Eine Sitemap per XML ist ebenfalls absolute Pflicht. Versuche, nicht allzu viele Links auf deinen wichtigen Seiten zu haben. Also eine kluge, intuitive und einfache Seitenarchitektur, Menüstruktur und interne Verlinkungen. Kein Duplicate-Content, keine 404-Fehlerseiten und keine „unnötigen“ Seiten auf einer Domain zu haben, ist eigentlich eine Selbstverständlichkeit. Wenn möglich, repariere 404-Seiten – Weiterleitungen nur im Notfall, eine Reparatur ist sinnvoller!

Die obigen Punkte müssen regelmäßig überwacht werden. Mit Google Analytics und den Google Webmastertools sowie mit den Logfiles des Servers kann man Schwachstellen entdecken oder sehen, an welchen Stellen der Bot „hängt“. Denkt daran: Eine Seite ist, was der Google Bot von ihr kennt und wie er sie kennenlernt!

Keine Kommentare vorhanden


Sie haben eine Frage oder Meinung zum Artikel?

Ihre E-Mail Adresse wird nicht veröffentlicht

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Beiträge

social media recap januar 2021 titel

Social Media Rückblick für Februar 2021

  • von Julia
  • 26.02.2021

Was war in den sozialen Netzwerken im Februar los? Neuer Monat, neue News! Wir haben mal wieder alle wichtigen Neuigkeiten aus der Social Media Welt für Euch zusammengefasst. Yo, Yo, Yo Instagram – Was gibt ́s Neues? Live Streams mit mehreren Teilnehmern Wie lange haben wir bitte auf „Live Groups“ […]

google thin content

Google stellt Beispiele für Thin Content vor

  • von Christoph
  • 19.02.2021

Die vier Arten von Thin Content laut Google Immer wieder werden von Google hochwertige Inhalte empfohlen, um bessere Rankings zu erzielen. Content mit Qualität wird daher immer wichtiger, doch Webseitenbetreiber sollten auch wissen, welche Inhalte von Google als minderwertig betrachtet und daher im schlimmsten Fall sogar abgestraft werden. Google nennt […]

energielabel änderung onlinehandel abmahnung

Achtung, Elektro-Händler: Neue Energielabel ab März

  • von Haendlerbund
  • 12.02.2021

2021 müssen Onlinehändler bei Elektroartikeln aufpassen Jeder kennt die Energielabel, die anzeigen, wie effizient ein Gerät ist. Dabei sind Geräte der Klasse A schon lange nicht mehr das Beste, was man auf dem Markt bekommen kann. Mittlerweile geht die Skala von D bis A+++, wobei man die unteren Klassen kaum […]

social media recap januar 2021 titel

Social Media Rückblick: Januar 2021

  • Leonard
  • von Leonard Reska
  • 09.02.2021

Neues Jahr, Neue Updates! Was war auf Social Media los? Kurz und kompakt: Die wichtigsten Änderungen und Ankündigungen aus der Social Media Welt! Unser Social Media Rückblick. Facebook Facebook optimiert Seiten von Creatoren und Personen des öffentlichen Lebens Facebook schraubt mal wieder an der User Experience! Diesmal im Fokus: Die […]

social media trends 2021 titelbild

Social Media Trends 2021

  • von Julia
  • 04.02.2021

2020 war ein Jahr wie kein anderes! Rund 94% der Deutschen haben 2020 regelmäßig das Internet und Social-Media genutzt – auch die Vielfalt an Social-Media-Kanälen war nie größer!

lokale kampagne google ads title

Mit Lokalen Kampagnen bei Google Ads mehr Ladenbesuche erzielen

  • von Ulrike
  • 29.01.2021

Was sind Lokale Kampagnen? Lokale Kampagnen bei Google Ads ist darauf ausgelegt Ihre Offlineziele wie z.B. Ladenbesuche zu erreichen. Hierbei müssen die Standorte der zu bewerbenden Geschäfte angegeben werden. Dazu kann man entweder das Google My Business-Konto verknüpfen oder Affiliate-Standorte auswählen. Nachdem die Standorte und das Budget festgelegt sind, kann […]