Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Webtraffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Google Drive

Was ist Google Drive? „Google Drive“ ist ein von Google entwickeltes Produkt zum Speichern und Synchronisieren von Dateien. Es ermöglicht den Nutzern, Dateien in der Cloud zu speichern, Dateien zwischen Geräten zu synchronisieren und Dateien freizugeben. Wie ist Google Drive entstanden? 2006 wurden die Dienste „Google Docs“ und „Google Sheets“ […]

Google News

Was ist Google News? Google News ist eine Nachrichtensuchmaschine, die in mehr als 70 Ländern und in über 35 Sprachen verfügbar ist. Die Nachrichtensuchmaschine ist auch als App für iOS und Android verfügbar, die über die Formate RSS-Feeds oder Atom-Feeds abonniert werden können. Dadurch kann man sich Nachrichten auf das […]

Meta Description

Was ist die Meta Description? Die Meta Description (engl. Für Meta Beschreibung) bezeichnet eine kurze Zusammenfassung des Websiteinhalts, die dem Nutzer in den Suchergebnissen von Suchmaschinen (z. B. Google) angezeigt werden. Die Meta Description erfüllt dabei den Zweck, dem Nutzer einen ersten Eindruck der Website zu vermitteln und ihn bei der Entscheidung, die Zeit zum Lesen zu investieren oder nicht, zu unterstützen. Die Meta Description hat dabei keinen direkten […]

Shitstorm

Was ist Shitstorm? Der Begriff Shitstorm ist ein spezielles Internetphänomen und setzt sich aus den englischen Wörtern „shit“ und „storm“ zusammen. Als Shitstorm wird in Deutschland eine Empörungswelle bezeichnet, die sich meist über Social-Media-Kanäle schnell ausbreitet. Dieses unerwartete Auftreten von Kritik, Beleidigungen und negativen Kommentaren kann Unternehmen, Privatpersonen oder Prominente […]

Instagram

Was ist Instagram? Instagram ist eine App für Smartphones und Tablets, die 2010 gegründet wurde und zu den erfolgreichsten Onlinediensten weltweit gehört. Instagram bietet sowohl das Teilen von Fotos und Videos als auch viele Fotofilter zur Bildbearbeitung an. Ein charakteristisches Merkmal der Fotos stellt das quadratische Format dar. Seit Ende […]

Webinar

Was ist ein Webinar? Der Begriff „Webinar“ ist ein Kofferwort aus den zwei Wörtern „Web“ und „Seminar“. Als Webinar werden unterschiedliche Veranstaltungen wie Präsentationen, Schulungen oder Fortbildungen bezeichnet, die über das Internet abgehalten werden. Die Teilnahme ist somit nicht an einen festen Ort gebunden. Definition Ein Webinar umfasst beispielsweise Präsentationen, […]