Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Web Traffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

htaccess-Datei

Was ist die htaccess-Datei? Die .htaccess-Datei ist eine Konfigurationsdatei für Webserver, die in der Regel auf Webservern verwendet wird. Vereinfacht gesagt kann sie verwendet werden, um bestimmte Einstellungen für eine Website oder einen Verzeichnisbereich innerhalb der Website zu konfigurieren. Zum Beispiel kann sie verwendet werden, um Passwörter für bestimmte Bereiche […]

Buzzword

Was ist ein Buzzword? Der Begriff Buzzword, auch Schlagwort, Catchword oder Catchphrase genannt, beschreibt einen Ausdruck oder Spruch, der besondere Aufmerksamkeit erregen und Inhalte überzeugend mitteilen soll. Meist handelt es sich dabei um einzelne Wörter oder kurze Phrasen, die Sachverhalte kurz und prägnant wiedergeben sowie beim Rezipienten Interesse und Wiedererkennen […]

Sitemap

Was ist die Sitemap.xml? Eine Sitemap ist eine Seitenübersicht oder eine Art Inhaltsverzeichnis, das die Darstellung einer Webseite vollständig und hierarchisch wiedergibt. Sie dient in erster Linie dazu, den Bots verschiedener Suchmaschinen wie Google oder Bing die Erfassung von Webseiteninhalten zu vereinfachen. Die Sitemap.xml steuert die Indexierung der Website bei […]

CSS

Was ist CSS? CSS ist die Abkürzung für Cascading Style Sheets, was sich am besten mit „gestufte Stilvorlagen“ übersetzen lässt. Dabei handelt es sich um eine Gestaltungs- und Formatierungssprache, mit deren Hilfe sich das optische Erscheinungsbild elektronischer Dokumente (z. B. HTML-Websites) bestimmen lässt. Anhand einfacher Anweisungen im Quelltext ist es so möglich, gestalterische Elemente wie das […]

Google Groups

Was ist Google Groups? Google Groups ist ein kostenloser Dienst von „Google Inc.“, welcher einen kombinierten Zugang zu Usenet, Diskussionsforen und Social Communitys ermöglicht. Durch den Online-Dienst können Internetforen durchsucht sowie eigene „Groups“ (deutsch = Gruppen) erstellt werden. Geschichte von Google Groups Google Groups wurde 2001 im Rahmen einer Übernahme […]

Entitäten

Was ist eine Entität? Der von dem lateinischen Wort „ens“ (deutsch: „Ding“ oder „Seiendes“) abgeleitete Begriff Entität findet sich in der Philosophie, Informatik und Semantik. Er beschreibt ein Objekt, das sich eindeutig identifizieren lässt und Informationen beinhaltet. Entitäten können sowohl in der realen Welt existierende Dinge (auch „Benannte Entitäten“ genannt) […]