Skip to main content

Crawler


PDF herunterladen

Was ist ein Crawler?

Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.

Funktionsweise von Crawlern

Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.

Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können.

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Instagram

Was ist Instagram? Instagram ist eine App für Smartphones und Tablets, die 2010 gegründet wurde und zu den erfolgreichsten Onlinediensten weltweit gehört. Instagram bietet sowohl das Teilen von Fotos und Videos als auch viele Fotofilter zur Bildbearbeitung an. Ein charakteristisches Merkmal der Fotos stellt das quadratische Format dar. Seit Ende […]

Webinar

Was ist ein Webinar? Der Begriff „Webinar“ ist ein Kofferwort aus den zwei Wörtern „Web“ und „Seminar“. Als Webinar werden unterschiedliche Veranstaltungen wie Präsentationen, Schulungen oder Fortbildungen bezeichnet, die über das Internet abgehalten werden. Die Teilnahme ist somit nicht an einen festen Ort gebunden. Definition Ein Webinar umfasst beispielsweise Präsentationen, […]

Reddit

Was ist Reddit? Reddit ist ein Social-News-Aggregator, der 2005 gegründet wurde und heute zu den meistbesuchten Seiten des Internets zählt. Millionen User aus der ganzen Welt veröffentlichen täglich zahlreiche Inhalte in Form von Links, Videos, Bildern, Textbeiträgen oder Umfragen. Der Begriff „Reddit“ ist eine Kombination aus den Verben ‘read’ (deutsch: […]

Google Spam Update

Was ist das Google Spam Update? Das Google Spam Update ist ein Qualitätsupdate von Google. Es wurde ohne Ankündigung zum ersten Mal im Juni 2021 weltweit ausgerollt und bestand aus zwei Teilen. Der erste Teil wurde im Juni 2021 in die Suchmaschine eingespielt. Der zweite Teil des Updates folgte einen Monat später. Das Google […]

Domain Popularity

Was ist die Domain Popularity? Bei der Domain Popularity handelt es sich um ein Kriterium, mit dem sich die Relevanz einer Webseite objektiv feststellen lässt. Sie gibt die Anzahl der Webpräsenzen an, die auf eine bestimmte andere Webseite verweisen. Eine solche eingehende Verknüpfung auf den eigenen Internetauftritt wird auch als […]

Proxy Server

Was ist ein Proxy Server? Das Wort Proxy bedeutet “im Namen eines anderen handeln”, und ein Proxy Server handelt im Namen des Benutzers. Ein Proxy Server (kurz: Proxy genannt) ist jeder Computer, der den Datenverkehr zwischen Netzwerken oder unterschiedlichen Übertragungs-Protokollen durchführt. Dieser Computer ist ein Zwischenserver, der Endbenutzer-Clients physikalisch vom […]