Ein Crawler (auch Robot oder Spider) ist ein automatisiertes Programm, das selbstständig das Internet durchsucht, Webseiten über Hyperlinks aufruft, deren Inhalte ausliest und im Cache speichert. Anschließend bewertet der Algorithmus der jeweiligen Suchmaschine die Daten und indexiert sie, sodass sie in den Suchergebnissen erscheinen. Crawler sind das zentrale Kerninstrument jeder Suchmaschine.
Was ist ein Crawler?
Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider. [1]
Funktionsweise von Crawlern
Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.
Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können. [2]
Keine Kommentare vorhanden