Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Webtraffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Release Management

Release Management einfach und verständlich erklärt Der Begriff Release Management beschreibt die Planung, Umsetzung und das Controlling von Softwareentwicklungsprozessen und der angewendeten IT-Infrastruktur. Release Management – Definition Durch das Release Management wird es möglich, einen Überblick über den gesamten Entwicklungsprozess von Softwares, Web-Anwendungen und deren Updates sicherzustellen. Das Release Management […]

Google Doodle

Was ist Google Doodle? Als Google Doodle (deutsch: Kritzelei, Gekritzel ) bezeichnet der US-amerikanische Suchmaschinenbetreiber Google die unterschiedliche Darstellung seines Firmenlogos auf der Startseite und in den Suchergebnisseiten (kurz: [a href=https://www.seo-kueche.de/lexikon/serp-search-engine-result-page/]SERP[/a]). Seit 1998 ist es bei dem Tech-Unternehmen Tradition, zu besonderen Anlässen wie Geburtstagen wichtiger Persönlichkeiten aus Kunst und Wissenschaft, […]

Data Warehouse

Was ist ein Data Warehouse? Bei einem Data Warehouse (manchmal auch Datenlager genannt, kurz: DWH) handelt es sich um ein zentrales Datenbanksystem, das sich in Unternehmen zu Analyse- und Prognosezwecken einsetzen lässt. Für diesen Zweck sammelt und verdichtet das System relevante Daten aus verschiedenen heterogenen Datenquellen wie zum Beispiel dem Customer Relationship Management (CRM), Human Resources (HR) oder Enterprise Resource Planning (ERP) und stellt diese nachgelagerten Anwendungen zur Verfügung. […]

Search Engine Marketing SEM

Search Engine Marketing einfach und verständlich erklärt Der Begriff Search Engine Marketing (SEM) ist ein Teilbereich im Online-Marketing und beschreibt alle Maßnahmen, die getroffen werden können, um eine prominente Positionierung einer Webseite innerhalb der Suchmaschinen in den Suchergebnissen (englisch: Search Engine Result Pages, kurz SERPs) und damit Besucher für eine […]

bit.ly

Was ist Bit.ly? Bitly (auch bitly oder bit.ly geschrieben) ist ein 2008 von Peter Stern gegründetes Tech-Unternehmen mit Sitz in New York. Kerngeschäft der SaaS-Firma ist der Betrieb des gleichnamigen Kurz-URL-Dienstes. Dieser lässt sich wahlweise über die Website bit.ly (oder bitly.com), mittels API oder über die für iOS und Android […]

TYPO3

TYPO3 einfach und verständlich erklärt TYPO3 ist ein freies und webbasiertes Content Management System (WCMS) auf PHP-Basis, welches sowohl für private als auch kommerzielle Zwecke lizenzkostenfrei verwendet werden kann. Begriffsdefinition TYPO3 ist ein lizenzfreies Content Management System (CMS), welches 1997 vom dänischen Webdesigner Kasper Skårhøj entwickelt wurde. TYPO3 zählt neben […]