Skip to main content

Robot


PDF herunterladen

Was ist ein Robot?

Ein Robot ist ein Programm, dass für die Suchmaschinen selbstständig das Internet nach neuen Inhalten durchsucht und diese erfasst, bewertet und indexiert. Statt Robots wird häufig auch die Kurzform “Bot” genutzt. Alternative Bezeichnungen sind Spider oder Crawler. Heutzutage bestehen etwa 40 Prozent des weltweiten Webtraffics aus Robots.

Funktionsweise eines Robots

Der Robot durchsucht automatisiert Dokumente im Web und folgt dabei auch externen und internen Links. Dadurch kann er beispielsweise feststellen, welche Linkbeziehungen zwischen welchen Webseiten bestehen. Bevor er “loslegt” benötigt der Robot natürlich eine genau definierte Aufgabe. Dadurch kann er bspw. Informationen einer Kategorie zuordnen. Nach und nach werden so alle Seiten erfasst und katalogisiert. Da der Robot seine Aufgabe ständig wiederholt, werden auch neue Informationen mit aufgenommen und indexiert.

Es gibt jedoch auch Informationen/Seiten, die dem Robot verwehrt bleiben. Das passiert z.B. bei Seiten, die nur durch einen Login oder über eine Suchmaske erreichbar sind.

Einsatzmöglichkeiten für Robots

In der Regel werden Robots dazu genutzt, Indizes zu erstellen, die für Suchmaschinen die Basis für die Einordnung von Suchergebnissen liefern. Dabei werden die Robots so programmiert, dass sie ganz spezifisch suchen, z.B. nach aktuellen Nachrichten oder nur bestimmten thematisch relevanten Links folgen.

Beispiele für Robot-Typen:

Data-Mining: Robots suchen gezielt nach Daten wie E-Mail-Adressen oder Telefonnummern.

Webanalyse: Robots sammeln u.a. Daten zu Seitenaufrufen, Seiteneinstiegen usw.

Produktrecherche für Preisvergleiche: Robots sammeln Produktdaten und Produktpreise, damit sie der User auf den Portalen vergleichen kann.

Robot lenken über die Robots.txt

Sie als Website-Betreiber können Robots auf Ihrer Seite mithilfe einer Datei lenken und so deren Verhalten auf Ihrer Webseite regeln. Diese Datei trägt den Namen “Robots.txt” und ist in der Root Directory (Stammverzeichnis) Ihrer Webseite untergebracht. Das ist die erste Datei, die von den Robots gelesen wird und mit der Sie die Programme steuern können. Mit genauen Anweisungen können Sie den Robot, genauer gesagt den User Agent des Robots so lenken, dass er nur ganz bestimmte Wege geht bzw. nur ganz bestimmte Seiten aufsucht. Seiten zu sperren ist z.B. bei einem Webseitenumbau sinnvoll, um dem Robot keine ungewollten/falschen Daten zu liefern.

Auch wenn Sie über die Robots.txt vorgeben, was der Robot nicht durchsuchen darf, können diese Seiten trotzdem von der Suchmaschine indexiert werden. Um das zu verhindern, nutzen Sie in den Meta-Tags den Noindex-Tag oder den Canonical Tag.

Bsp. für eine Robots.txt:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /wp-content/uploads/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Sitemap: https://www.seo-kueche.de/sitemap.xml

Jetzt den SEO-Küche-Newsletter abonnieren

Ähnliche Artikel

Domain

Was ist eine Domain? Eine Domain ist ein einmaliger, eindeutiger Name, der den Zugriff auf Webseiten im Internet bereitstellt. Sie begegnet jedem Menschen, der eine Internetseite aufruft. Neben diesem Merkmal für die Identifizierung von Webseiten hat die Domain in der Suchmaschinenoptimierung ebenfalls eine kleine, aber womöglich relevante Bedeutung. Warum existieren […]

Broken Link

Was ist ein Broken Link? Ein Broken Link ist ein Hyperlink auf einer Webseite, der zu einer nicht oder nicht mehr erreichbaren Zielseite führt oder zu einer verlinkten Datei, die nicht mehr auf den Servern befindlich ist. Das Resultat eines Klicks auf einen Broken Link ist in der Regel die […]

ASCII Code

Was ist ASCII Code? ASCII Code ist ein Zeichensatz, der mit insgesamt 7 Bits die Darstellung der meisten Zeichen auf einer Computertastatur erlaubt. Da es sich um eine US-amerikanische Erfindung handelt, fehlen im Deutschen (und anderen Sprachen) vorkommende Zeichen wie Umlaute und das ß. Durch eine ASCII Code Tabelle lässt […]

Amazon Web Service

Was sind die Amazon Web Services? Amazon Web Services, auch als AWS bekannt, ist eine vom gleichnamigen Unternehmen angebotene Plattform für Cloud-Computing. Kunden können dort Anwendungen, Webseiten und Dienste hosten lassen, Ressourcen für rechenintensive Aufgaben mieten und vieles mehr. AWS existiert seit 2006 und ist einer der größten Cloud-Services der […]

410 Fehler-Code

Was ist der Fehler 410? Der 410 Statuscode oder 410 Fehler erscheint im Browser, wenn der Nutzer eine URL aufrufen wollte, die jedoch dauerhaft gelöscht ist. Die genaue Formulierung des Fehlercodes hängt vom Webseitenserver ab. Mögliche Varianten sind unter anderem “Error 410”, “Gone”, “HTTP Status 410” oder “410 Gone”. Auch […]

Dialogmarketing

Was ist Dialogmarketing? Das Dialogmarketing ist eine Art des Direktmarketings. Wie der Name es bereits verrät, geht es um den direkten Dialog zwischen Unternehmen und Kunden. Die Akquise der Neukunden sowie Bestandskundenerhaltung sind im Dialogmarketing enthalten. Die Definition Dialogmarketing Aufgrund der sich verändernden Rechtslage ist die Form des Marketings in […]