Skip to main content

Crawler


PDF herunterladen

Was ist ein Crawler?

Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.

Funktionsweise von Crawlern

Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.

Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können.

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

PHP

Was ist PHP? PHP (rekursive Abkürzung für „PHP: Hypertext Preprocessor“) ist eine der weltweit am häufigsten genutzten Skriptsprachen , die das Erstellen dynamischer Websites und Webanwendungen wie Blogs, CM-Systemen, Foren oder Onlineshops ermöglicht. Seine Popularität verdankt PHP unter anderem der Verfügbarkeit vieler Schnittstellen zu Datenbanken wie MySQL und anderen Programmiersprachen sowie der guten Dokumentation. Zudem ist die Skriptsprache relativ leicht zu erlernen. Vor […]

CSS

Was ist CSS? CSS ist die Abkürzung für Cascading Style Sheets, was sich am besten mit „gestufte Stilvorlagen“ übersetzen lässt. Dabei handelt es sich um eine Gestaltungs- und Formatierungssprache, mit deren Hilfe sich das optische Erscheinungsbild elektronischer Dokumente (z. B. HTML-Websites) bestimmen lässt. Anhand einfacher Anweisungen im Quelltext ist es so möglich, gestalterische Elemente wie das […]

Netzwerk

Was ist ein Netzwerk? Der Begriff Netzwerk kommt vorwiegend in der Informationstechnologie zur Anwendung und dient hier als Bezeichnung für Rechner und andere elektronische Geräte, die miteinander verbunden (vernetzt) sind. Um ein Netzwerk zu bilden, sind immer mindestens zwei Computersysteme nötig. Diese können entweder über ein Kabel (Ethernet- bzw. Netzwerkkabel) oder drahtlos […]

Google Groups

Was ist Google Groups? Google Groups ist ein kostenloser Dienst von „Google Inc.“, welcher einen kombinierten Zugang zu Usenet, Diskussionsforen und Social Communitys ermöglicht. Durch den Online-Dienst können Internetforen durchsucht sowie eigene „Groups“ (deutsch = Gruppen) erstellt werden. Geschichte von Google Groups Google Groups wurde 2001 im Rahmen einer Übernahme […]

Entitäten

Was ist eine Entität? Der von dem lateinischen Wort „ens“ (deutsch: „Ding“ oder „Seiendes“) abgeleitete Begriff Entität findet sich in der Philosophie, Informatik und Semantik. Er beschreibt ein Objekt, das sich eindeutig identifizieren lässt und Informationen beinhaltet. Entitäten können sowohl in der realen Welt existierende Dinge (auch „Benannte Entitäten“ genannt) […]

Datenbank

Was ist eine Datenbank? Eine Datenbank ist ein elektronisches System, in dem sich größere Datenmengen zentral speichern lassen. Ein Datenbanksystem (DBS) setzt sich aus zwei Teilen zusammen: einem Datenbankmanagementsystem (DMBS) und der Datenbank (DB) im eigentlichen Sinne, in der die Menge der zu verwaltenden Daten (auch Datenbasis genannt) gespeichert ist. Heute verwenden nahezu alle IT-Anwendungen wie ERP-, CRM- und Warenwirtschafts-Systeme, aber auch Suchmaschinen […]