Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Webtraffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Hummingbird Update

Was ist das Google Hummingbird Update? Das Hummingbird Update (Kolibri Update) ist eine Algorithmus-Änderung in Googles Suchmaschine und fand 2013 statt – zum 15. Geburtstag von Google. Die Besonderheit dieses Updates: Der Suchalgorithmus wurde komplett geändert und zwar hin zu einer semantischen Indexierung bzw. semantischen Suche. Zum Vergleich: Panda Update […]

White Hat SEO

Was ist White Hat SEO? Bei White Hat SEO handelt es sich um eine Art der Suchmaschinenoptimierung, bei der die Qualitätsrichtlinien von Google eingehalten werden. Sie ist dementsprechend rechtlich unbedenklich und ethisch korrekt. Im Gegensatz dazu stehen die Grey Hat SEO und die Black Hat SEO. Die Namen dieser Methoden […]

Google SEO Tools

Was sind Google SEO Tools? Als global bedeutsame Suchmaschine mit einem Marktanteil von mehr als 90 % prägt Google die Standards der Suchmaschinenoptimierung. Das bedeutet, SEO-Spezialisten richten sich bei der Optimierung von Webseiten verstärkt nach den Google-Ranking-Faktoren. Es gibt ebenfalls Maßnahmen, die sich auf die Suchmaschinen Yahoo und Bing konzentrieren. […]

Call-To-Action (CTA)

Was ist eine CTA? Eine Call-to-Action (CTA) ist eine Handlungsaufforderung, um eine bestimmte Reaktion beim User zu erzeugen. Dabei kann die Handlungsaufforderung in Form von Text, Bild oder als eine Kombination der beiden Formate erfolgen. Zudem kann eine CTA für höhere Conversion Rates sorgen. Definition Als eine Call-To-Action wird eine […]

E-Commerce

Was bedeutet E-Commerce? Als E-Commerce wird der elektronische Handel bezeichnet, der zum E-Business gehört. Dieser Oberbegriff umfasst sämtliche elektronische Nutzungsformen wie den elektronischen Handel, das Werben, Kaufen und Verkaufen von Produkten sowie Dienstleistungen im Internet. Der E-Commerce ist eines der Hauptgeschäftsmodelle, ein klassisches Beispiel ist das Online-Shopping. Merkmale Wesentliche Merkmale […]

Jappy

Was ist Jappy? Jappy ist ein deutsches soziales Netzwerk, das 2001 gegründet wurde und zu den beliebtesten Plattformen in Deutschland zählt. Im Jahr 2008 hatte Jappy eine Million aktive Nutzer. Zunächst konzentrierte sich Jappy ausschließlich auf den deutschsprachigen Raum, woraufhin es 2011 kurzzeitig auch eine englischsprachige Version der Plattform gab. […]