Was ist ein User Agent?
Während User “echte” Menschen sind, bezeichnen User Agents keine Personen, sondern Programme. Sie führen automatische Datenabfragen beim Server durch, z.B. bei Suchmaschinen und bilden damit die Schnittstelle zwischen dem Benutzer und dem Netzwerksdienst. Übermittelt wird der User Agent durch den HTTP Header.
User Agent Typen
User Agents lassen sich in folgende Typen unterteilen:
Browser: z.B. Firefox, Internet Explorer, Chrome. Browser werden für die einheitliche Webseiten-Darstellung benötigt.
Suchmaschinen-Crawler: z.B. Googlebot, MSN-Bot. Sie besuchen regelmäßig Webseiten auf der Suche nach neuen Informationen und Änderungen auf Webseiten.
Webapplications: z.B. Flash Player, Adobe Acrobat Reader. Unter diesen Typ fallen alle Programme, die für die Ausführung einer Datei benötigt werden und dafür Anfragen an den Server stellen. Sie werden zum Beispiel zum Abspielen von Videos und Musik oder zum Öffnen von Text-/Grafikdateien benötigt.
Sinn und Zweck des User Agent
Jeder User Agent hat als Identifikation eine eigene Kennung. Diese Kennung bezeichnet man auch als Agent Name. Übermittelt wird sie über seinen HTTP Header. Durch diese Information kann der Webserver entsprechend andere Informationen an den Benutzer ausliefern, was z.B. bei Browsernutzern mit einem Mobilgerät eine Rolle spielt. Denn durch die Herkunftsinfo wird dem Nutzer eine für das Gerät optimierte Seite angezeigt.
Außerdem können mit dem User Agent Menschen von Maschinen, also den Suchmaschinen-Crawlern unterschieden werden. Ihre Anfrage ähnelt stark den menschlichen Anfragen, nur sind hier eben Informationen wie „Googlebot/2.1“ oder „msnbot-media/1.0“ hinterlegt. Diese Unterscheidung ist vor allem für die statistische Auswertung wichtig.
Wie funktioniert die Übertragung des User Agent?
Die Übertragung des User Agent über den Header erfolgt bei jedem Seitenaufruf. Enthalten sind im Header folgende Informationen:
– Name und Version des aufrufenden Programms
– Name des Betriebssystems und dessen Version
– evtl. Plugins bei Browsern
Das kann folgendermaßen aussehen:
Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12
Wenn ein Browser, eine Applikation oder ein Crawler auf ein Dokument zugreift, wird automatisch der User Agent mitgeteilt. Der Wert ist nicht standardisiert. Daher gibt es sowohl inhaltlich als auch beim Aufbau verschiedene Angaben. Aus technischer Sicht kann ein User Agent beliebige Informationen schicken. Deshalb übermittelt er teilweise auch falsche Angaben, um seine Identität zu verschleiern und sich als ein anderes Programm auszugeben.
User Agent – Bedeutung für die Suchmaschinenoptimierung
Bekommt das anfragende Programm einen auf seinen User Agent zugeschnittenen Inhalt, dann wird das als Agent Name Delivery bezeichnet. Bei der Suchmaschinenoptimierung findet Agent Name Delivery Anwendung, indem realen Nutzern andere Informationen ausgeliefert werden als Suchmaschinen-Crawlern. Diese Vorgehensweise wird als Cloaking bezeichnet. Ziel ist es, dem realen Nutzer über seine Browseransicht aufwendig gestaltete Seiten zu liefern und dem Crawler lediglich eine einfache Struktur “vorzusetzen”.
Diese Suchmaschinentechnik fällt unter den Bereich Spam und verstößt gegen die Google Webmaster-Richtlinien. Da die Manipulation des User Agent aber recht einfach zu bewerkstelligen ist, funktioniert diese Spam-Methode auch kaum noch. Die meisten Suchmaschinen geben mittlerweile ihre Crawler mit einer User Agent Kennung aus, die einem normalen Browser gleichkommt.