Skip to main content

Crawler


PDF herunterladen

Was ist ein Crawler?

Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.

Funktionsweise von Crawlern

Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.

Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können.

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Domain

Was ist eine Domain? Eine Domain ist ein einmaliger, eindeutiger Name, der den Zugriff auf Webseiten im Internet bereitstellt. Sie begegnet jedem Menschen, der eine Internetseite aufruft. Neben diesem Merkmal für die Identifizierung von Webseiten hat die Domain in der Suchmaschinenoptimierung ebenfalls eine kleine, aber womöglich relevante Bedeutung. Warum existieren […]

Broken Link

Was ist ein Broken Link? Ein Broken Link ist ein Hyperlink auf einer Webseite, der zu einer nicht oder nicht mehr erreichbaren Zielseite führt oder zu einer verlinkten Datei, die nicht mehr auf den Servern befindlich ist. Das Resultat eines Klicks auf einen Broken Link ist in der Regel die […]

ASCII Code

Was ist ASCII Code? ASCII Code ist ein Zeichensatz, der mit insgesamt 7 Bits die Darstellung der meisten Zeichen auf einer Computertastatur erlaubt. Da es sich um eine US-amerikanische Erfindung handelt, fehlen im Deutschen (und anderen Sprachen) vorkommende Zeichen wie Umlaute und das ß. Durch eine ASCII Code Tabelle lässt […]

Amazon Web Service

Was sind die Amazon Web Services? Amazon Web Services, auch als AWS bekannt, ist eine vom gleichnamigen Unternehmen angebotene Plattform für Cloud-Computing. Kunden können dort Anwendungen, Webseiten und Dienste hosten lassen, Ressourcen für rechenintensive Aufgaben mieten und vieles mehr. AWS existiert seit 2006 und ist einer der größten Cloud-Services der […]

410 Fehler-Code

Was ist der Fehler 410? Der 410 Statuscode oder 410 Fehler erscheint im Browser, wenn der Nutzer eine URL aufrufen wollte, die jedoch dauerhaft gelöscht ist. Die genaue Formulierung des Fehlercodes hängt vom Webseitenserver ab. Mögliche Varianten sind unter anderem “Error 410”, “Gone”, “HTTP Status 410” oder “410 Gone”. Auch […]

360 Grad Video

Was ist ein 360 Grad Video? Im Gegensatz zum zweidimensionalen Video mit rechteckiger Fläche weist ein 360 Grad Video meist ein Kugelpanorama auf. So kann der User einen vollständigen Rundumblick in einem Raum oder über eine Landschaft genießen. Die Darstellung wird in einem Winkel von 360 x 180 Grad erzeugt. […]