Skip to main content

Crawler


PDF herunterladen

Was ist ein Crawler?

Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.

Funktionsweise von Crawlern

Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache gespeichert, ausgewertet und ggf. indexiert. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden dann in den Suchergebnissen der Suchmaschinen angezeigt.

Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO-Experten stellen sicher, dass Ihre Webseite für Crawler einwandfrei lesbar ist damit alle Inhalte indexiert werden können.

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Cumulative Layout Shift (CLS)

Was ist der Cumulative Layout Shift (CLS)? Der Cumulative Layout Shift ist ein Wert, der Teil der Core Web Vitals von Google ist und angibt, wie stark sich eine Webseite während des Ladeprozesses der einzelnen Elemente im Browser verändert, ohne dass der Nutzer Einfluss darauf nimmt. Je besser (sprich: niedriger) […]

Page Experience

Was ist die Page Experience? Die Art und Weise, wie Google Webseiten im Internet sortiert, ändert sich im Juni 2021: Seit diesem Zeitpunkt gilt die Page Experience als neuer Ranking-Faktor im komplizierten Google-Algorithmus. Die Page Experience steht im engen Zusammenhang mit den Core Web Vitals von Google und bezieht moderne […]

Domain Name System (DNS)

Was ist das Domain Name System oder DNS? Das DNS, kurz für Domain Name System, ist eine der häufigsten, aber missverstandenen Komponenten im World Wide Web. Einfach ausgedrückt, hilft das DNS dabei, den Datenverkehr im Internet zu lenken, indem Domainnamen mit tatsächlichen Webservern verbunden werden. Im Wesentlichen nimmt das System […]

JavaScript

Was ist JavaScript? JavaScript ist eine verbreitete Programmiersprache. Sie wird vor allem genutzt, um dynamische Elemente in Webseiten einzubinden. Dies können aufklappbare Menüs oder Popup-Fenster sein. Ebenso nutzen Webentwickler die Funktionen häufig, um Eingaben von Benutzern zu verarbeiten. In Formularfeldern kann etwa mithilfe der Programmiersprache geprüft werden, ob fehlerhafte oder […]

W-Fragen

Die W-Fragen des digitalen Marketings Um an die notwendigen Informationen für eine gute Story zu bekommen, verwenden Journalisten die so genannten W-Fragen (zum Beispiel: wer, wo, was, wie, wann und warum). Die Beantwortung der grundlegenden Fragen, helfen den Journalisten, eine gute Geschichte zu schreiben. Auch im digitalen Marketing können diese […]

Künstliche Intelligenz (KI)

Was ist künstliche Intelligenz? Die künstliche Intelligenz (KI) ist ein Teilgebiet der Informatik, die sich mit der Automatisierung von intelligentem Verhalten und maschinellem Lernen beschäftigt. Mit der künstlichen Intelligenz wird versucht, menschliches Denken mithilfe selbstlernender Computer-Programme zu simulieren. In der Wirtschaft kommt KI bereits häufig zum Einsatz. Künstliche Intelligenz: Definition […]