Skip to main content

Crawler


PDF herunterladen

Was ist ein Crawler?

Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.

Funktionsweise von Crawlern

Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.

Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können.

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Paywall

Was ist eine Paywall? Unter Paywall (deutsch: Bezahlschranke) wird ein Mechanismus im Internet verstanden, mit welchem bestimmte Inhalte einer Website nur nach dem Bezahlen einer Gebühr oder dem Abschluss eines Abonnements sichtbar sind. Dieses Modell wird insbesondere von Zeitungen und Zeitschriften als weitere Einnahmequelle verwendet. Definition Mit einer Paywall ist […]

Newsletter

Was ist ein Newsletter? Ein Newsletter ist ein elektronisches Rundschreiben, das zur Informationsmitteilung in regelmäßigen Abständen an Abonnenten versendet wird. Der Inhalt der E-Mail kann Werbung, Informationen, Neuigkeiten, Termine oder Aktionen umfassen. Newsletter sind ein Bestandteil des E-Mail-Marketings. Definition Der englische Begriff „Newsletter“ bezeichnet im Online-Marketing einen Rundbrief in elektronischer […]

WLAN – Einfach und verständlich erklärt

Was ist WLAN? Der Begriff WLAN (auch Wireless LAN oder Wi-Fi) ist eine Abkürzung für das englische “Wireless Local Area Network” (zu Deutsch: drahtloses lokales Netzwerk). Innerhalb dieses drahtlosen Funknetzwerks, das in der Regel auf einem Standard der IEEE-802.11-Familie basiert, sind WLAN-fähige Geräte wie Drucker, Computer, Smartphones oder Tablets in […]

Bit.ly – Einfach und verständlich erklärt

Was ist Bit.ly? Bitly (auch bitly oder bit.ly geschrieben) ist ein 2008 von Peter Stern gegründetes Tech-Unternehmen mit Sitz in New York. Kerngeschäft der SaaS-Firma ist der Betrieb des gleichnamigen Kurz-URL-Dienstes. Dieser lässt sich wahlweise über die Website bit.ly (oder bitly.com), mittels API oder über die für iOS und Android […]

Data Warehouse – Einfach und verständlich erklärt

Was ist ein Data Warehouse? Bei einem Data Warehouse (manchmal auch Datenlager genannt, kurz: DWH) handelt es sich um ein zentrales Datenbanksystem, das sich in Unternehmen zu Analyse- und Prognosezwecken einsetzen lässt. Für diesen Zweck sammelt und verdichtet das System relevante Daten aus verschiedenen heterogenen Datenquellen wie zum Beispiel dem Customer Relationship Management (CRM), Human Resources (HR) oder Enterprise Resource Planning (ERP) und stellt diese nachgelagerten Anwendungen zur Verfügung. […]

Pinterest

Was ist Pinterest? Pinterest ist eine Online-Pinnwand für Grafiken und Fotos, die im Jahr 2010 gegründet wurde. Der Begriff “Pinterest” ist ein Kofferwort aus den englischen Wörtern pin ‚anheften‘ und interest ‚Interesse‘. User können sich verschiedene Bilder und Videos auf eigenen Pinnwänden merken, die entweder öffentlich oder privat einsehbar sind. […]