Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Webtraffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Heading-Tag

Was ist ein Heading-Tag? Was ist ein Heading-Tag? Unter einem Heading-Tag versteht man ein kennzeichnendes Element für Überschriften in der Webseiten-Beschreibungssprache HTML. HTML-Dateien sind grundsätzlich hierarchisch aufgebaut. Die einzelnen Bereiche werden dabei durch sogenannte Tags markiert. Heading-Tags zeichnen Überschriften aus. Der Rang der entsprechenden Überschrift wird zusätzlich mit einer Ziffer […]

Framework

Was ist ein Framework? Was ist ein Framework? Das Framework ist insbesondere in der Software-Entwicklung ein fester Begriff. Es steht für ein Grundgerüst, das dem Programmierer bestimmte vorgefertigte Module und Funktionen bietet. Diese kann er durch einfache Befehle in sein Programm einbinden. Der Vorteil ist, dass wiederkehrende Aktionen, etwa das […]

AIDA-Formel

Die AIDA-Formel Die Abkürzung AIDA steht für die englischen Begriffe: Attention (Aufmerksamkeit) Interest (Interesse) Desire (Verlangen) Action (Handlung) Das AIDA-Model ist in Werbe- und Marketingkreisen sehr erfolgreich und weit verbreitet. Das Modell beschreibt die verschiedenen Schritte, die vom Eintritt einer Person in die Bewusstseinsphase eines Marketing-Instruments bis zur endgültigen Entscheidungsfindung […]

Dedicated Server

Was ist ein Dedicated Server? Alle Unternehmen müssen Daten speichern. Das sind zum Beispiel Kundendaten, Geschäftsvorgänge, Schriftverkehr, E-Mails, Berichte, Analysen u.v.a. Diese Daten werden in den meisten Fällen auf gehosteten Servern gespeichert. Rein technisch gesehen, ist ein Server ein Stück Computer-Hardware mit hohem Datenverkehr, zum ausschließlichen Hosten von Websites, Daten […]

Core Web Vitals

Was sind Core Web Vitals? Core Web Vitals sind eine Reihe von benutzerbezogenen Metriken. Diese messen beim Laden von Webseiten die Geschwindigkeit, Reaktionsfähigkeit und die visuelle Stabilität. Besitzer von Webseiten können auf diese Weise die Benutzererfahrung im Web messen und zu verbessern. Die Zeiten, in denen Internetseiten Zeile für Zeile […]

First Input Delay (FID)

Was ist der First Input Delay? Der First Input Delay (FID) misst die Zeit, die von der Eingabe eines Nutzers auf einer Webseite bis zur Antwort jener Webseite vergeht. Da ein besserer Wert ein positives Nutzungserlebnis ist, werden Webseiten mit einem geringeren FID, der Teil der Core Web Vitals ist, […]