Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Web Traffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Microsoft

Microsoft ist ein amerikanischer multinationaler Technologie-Konzern, der sich auf die Entwicklung von Software, Hardware und Cloud-Diensten spezialisiert hat. Das Unternehmen ist bekannt für seine Produkte wie Windows, Office und Azure. Geschichte von Microsoft Gründung: Microsoft wurde 1975 von Bill Gates und Paul Allen in Albuquerque (New Mexico) gegründet und hat […]

Sponsored Links

Was sind Sponsored Links? Sponsored Links umfassen sowohl kostenpflichtige Werbeanzeigen in Suchmaschinen als auch bezahlte Verweise, die durch einen Link von anderen Websites bereitgestellt werden. Sponsored Links werden im Online-Marketing eingesetzt, um beispielsweise Traffic, Conversions oder Reichweite zu erhöhen. Unternehmen bewerben damit ihre Produkte, Dienstleistungen oder Marken auf Webseiten, Suchmaschinen […]

Referral Marketing

Was ist Referral Marketing? Als Referral Marketing (auch Empfehlungsmarketing genannt) wird eine Maßnahme zur Kundengewinnung bezeichnet, die auf Kundenempfehlungen basiert. Hier empfehlen Bestandskunden die Produkte oder Dienstleistungen eines Unternehmens und beeinflussen so die Kaufentscheidung potenzieller Kunden. Im Gegensatz zur Mundpropaganda handelt es sich beim Referral Marketing um eine bewusste Strategie, […]

Fake News

Was sind Fake News? Fake News sind falsche oder irreführende Informationen, die vor allem über soziale Medien, Websites und andere digitale Plattformen verbreitet werden. Ziel dieser Fake News ist es, politische, soziale oder wirtschaftliche Diskurse zu beeinflussen und Unsicherheiten zu erzeugen. Fake News: Definition Unter dem Begriff „Fake News“ werden […]

GIF

Was ist ein GIF? Der Begriff „GIF“ steht für „Graphics Interchange Format“ und ist eine weit verbreitete Dateiform für digitale Bilder. GIFs wurden im Jahr 1987 von dem Unternehmen CompuServe eingeführt und sind seitdem ein wesentlicher Bestandteil des Internets. Dieses Grafikformat kann sowohl statische als auch animierte Bilder darstellen. GIF: […]

Darknet

Was ist das Darknet? Als „Darknet“ wird ein versteckter Teil des Internets bezeichnet, der nicht über herkömmliche Suchmaschinen wie Google oder Bing zugänglich ist. Mit einem speziellen Browser können User im Darknet anonym auf unzensierte und illegale Inhalte zugreifen. Darknet: Definition Unter Darknet wird ein versteckter Teilbereich des World Wide […]