Skip to main content

Deep Crawl


PDF herunterladen

Was ist ein Deep Crawl?

Per Definition bezeichnet Deep Crawl die Fähigkeit eines Suchmaschinen Crawlers, selbstständig Unterseiten einer Website nach Inhalten zu durchsuchen und diese zu indexieren. Bei einigen Suchmaschinen ist die Indexierung von Inhalten auf eine bestimmte Verzeichnistiefe der Internetseite begrenzt. Der Deep Crawl erreicht, dass auch Unterseiten einer Website als eigenständige Seiten bewertet und indexiert werden. Ein Deep Crawl kann bei umfangreichen Internetseiten mehrere Stunden in Anspruch nehmen.

Ziel des Deep Crawls

Ein Deep Crawl verfolgt die Absicht, Tiefen-Verlinkungen (sogenannte Deep Links) aufzuspüren, um immer tiefer in die Website-Strukturen einzudringen. Dem Crawler gelingt es auf diese Weise sämtliche Unterseiten einer Domain zu durchsuchen, sie als eigenständige Seiten zu werten und in der Folge zu indexieren. Unterseiten können durch Ihre Indexierung selbstständig ranken und werden bei einer Suchanfrage als eigenständige Bestandteile einer Website ausgegeben.

Wie funktioniert ein Deep Crawl?

Im Grunde sorgt der Deep-Crawl für eine Tiefen-Indexierung von Websites. Der Crawler sucht auf den unterschiedlichsten Website-Ebenen nach Deep Links, denen er folgen kann. Deep Links bezeichnen hierbei Verweise, die tieferliegende Unterseiten miteinander verknüpfen und nicht auf die Startseite einer Webpräsenz verweisen.

Zum Beispiel: Der Lexikonbeitrag seo-kueche.de/lexikon/crawler/, der eine Unterseite dieser Website darstellt, verweist auf die Unterseite seo-kueche.de/lexikon/algorithmus/. Dieser Verweis stellt einen solchen „Deep Link“ dar, dem Google folgt. Im Lexikonbeitrag von „Algorithmus“ befinden sich nun weitere Verlinkungen, die vom Crawler untersucht werden. Auf diese Weise hangelt sich Google von Seite zu Seite und verschafft sich einen Überblick über die Website.

Die Indexierung der Unterseiten erfolgt nach altbekannter Art. Der Quellcode der Website wird von Google ausgelesen und auf Basis der Ranking-Faktoren ausgewertet. An dieser Stelle greifen die Ranking-Kriterien der jeweiligen Suchmaschine. Die Webseite wird bewertet und im Idealfall mit einem guten Ranking bei relevanten Suchanfragen belohnt.

Rolle des Crawl Budget beim Deep Crawl

Durch den Deep Crawl haben auch tieferliegende Unterseiten komplexer und umfangreicher Websites die Chance, eine gute Platzierung in den Ergebnislisten einer Suchmaschine zu erreichen. Ob Google eine einzelne Unterseite überhaupt crawlt, kann von mehreren Faktoren abhängen. Einer davon ist das Crawl Budget. Dieser Wert gibt die Anzahl der Seiten an, die Google auf einer Domain maximal durchsucht. Websites, die wenige Tausend URLs aufweisen, haben in der Regel kein Problem mit einem unzureichenden Crawl Budget.

Anders sieht es bei umfangreichen Websites aus. Normalerweise crawlt Google hier nur einen Teil der Unterseiten. Der Seitenbetreiber muss dann befürchten, dass ihm wichtiger Traffic durch eine fehlende Indexierung der Unterseiten entgeht. Mit gezielten Maßnahmen kann man dem Problem entgegenwirken und so verhindern, dass Google bei einem Deep Crawl wichtige Inhalte übersieht. Dazu gehören beispielsweise die Entwicklung einer flache Seitenstruktur oder das Ausschließen unwichtiger Unterseiten vom Crawling.

Worin unterscheiden sich Deep Crawl und Fresh Crawl?

Mit dem Fresh Crawl und Deep Crawl setzt Google zwei verschiedene Aktualisierungszyklen um. Der Google Deep Crawl untersucht Websites intensiv und folgt jedem Link, um möglichst den gesamten Inhalt einer Website zu erfassen. Das Crawling nimmt bei umfangreichen Websites mehrere Stunden in Anspruch und wird nicht selten in Teilen über mehrere Tage hinweg durchgeführt. Es ist davon auszugehen, dass der Deep Crawl neue Webseiten nicht sofort untersucht.

Dem gegenüber steht der Fresh Crawl, der Webseiten permanent crawlt. Das Ziel von Google ist es, das Internet ständig nach neuen Inhalten zu durchsuchen, und relevante, aktuelle Inhalte schnellstmöglich in den eigenen Index aufzunehmen. Um in kurzer Zeit möglichst viele Websites zu durchforsten, werden diese nur oberflächlich erfasst und auf Veränderungen hin überprüft. Wie oft eine Webpräsenz durch den Web Crawler besucht wird, hängt von Faktoren wie beispielsweise der Stärke des Brands oder ihrer Aktualisierungsrate ab.

Neue Indexierungs-Struktur durch Google Caffeine

Um den Index noch aktueller zu halten, aktivierte Google im Jahr 2010 eine überarbeitete Datenbank- und Indexstruktur. Anstatt Webseiten – wie bis dahin üblich – in Ebenen zu unterteilen, verwendet Google seither eine netzartige Struktur. Doch welchen Vorteil bietet diese neue Infrastruktur?

Google kann seitdem viel schneller und vor allem flexibler Websites und Informationen crawlen und indexieren. Da täglich mehrere Hundert Gigabyte an Daten hinzukommen, ergibt dieses Update großen Sinn. Darüber hinaus kann erst durch die neue Caffeine-Struktur in Echtzeit auf Inhalte aus Social Media und Nachrichten-Plattformen zugegriffen werden. Google-Nutzer profitieren von dauerhaft hochaktuellen Ergebnislisten.

Weiterführende Informationen:

What Crawl Budget Means for Googlebot

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Release Management

Release Management einfach und verständlich erklärt Der Begriff Release Management beschreibt die Planung, Umsetzung und das Controlling von Softwareentwicklungsprozessen und der angewendeten IT-Infrastruktur. Release Management – Definition Durch das Release Management wird es möglich, einen Überblick über den gesamten Entwicklungsprozess von Softwares, Web-Anwendungen und deren Updates sicherzustellen. Das Release Management […]

Google Doodle

Was ist Google Doodle? Als Google Doodle (deutsch: Kritzelei, Gekritzel ) bezeichnet der US-amerikanische Suchmaschinenbetreiber Google die unterschiedliche Darstellung seines Firmenlogos auf der Startseite und in den Suchergebnisseiten (kurz: [a href=https://www.seo-kueche.de/lexikon/serp-search-engine-result-page/]SERP[/a]). Seit 1998 ist es bei dem Tech-Unternehmen Tradition, zu besonderen Anlässen wie Geburtstagen wichtiger Persönlichkeiten aus Kunst und Wissenschaft, […]

Data Warehouse

Was ist ein Data Warehouse? Bei einem Data Warehouse (manchmal auch Datenlager genannt, kurz: DWH) handelt es sich um ein zentrales Datenbanksystem, das sich in Unternehmen zu Analyse- und Prognosezwecken einsetzen lässt. Für diesen Zweck sammelt und verdichtet das System relevante Daten aus verschiedenen heterogenen Datenquellen wie zum Beispiel dem Customer Relationship Management (CRM), Human Resources (HR) oder Enterprise Resource Planning (ERP) und stellt diese nachgelagerten Anwendungen zur Verfügung. […]

Search Engine Marketing SEM

Search Engine Marketing einfach und verständlich erklärt Der Begriff Search Engine Marketing (SEM) ist ein Teilbereich im Online-Marketing und beschreibt alle Maßnahmen, die getroffen werden können, um eine prominente Positionierung einer Webseite innerhalb der Suchmaschinen in den Suchergebnissen (englisch: Search Engine Result Pages, kurz SERPs) und damit Besucher für eine […]

bit.ly

Was ist Bit.ly? Bitly (auch bitly oder bit.ly geschrieben) ist ein 2008 von Peter Stern gegründetes Tech-Unternehmen mit Sitz in New York. Kerngeschäft der SaaS-Firma ist der Betrieb des gleichnamigen Kurz-URL-Dienstes. Dieser lässt sich wahlweise über die Website bit.ly (oder bitly.com), mittels API oder über die für iOS und Android […]

TYPO3

TYPO3 einfach und verständlich erklärt TYPO3 ist ein freies und webbasiertes Content Management System (WCMS) auf PHP-Basis, welches sowohl für private als auch kommerzielle Zwecke lizenzkostenfrei verwendet werden kann. Begriffsdefinition TYPO3 ist ein lizenzfreies Content Management System (CMS), welches 1997 vom dänischen Webdesigner Kasper Skårhøj entwickelt wurde. TYPO3 zählt neben […]