Feines aus der SEO-Küche:
Wir sind SMX Blogpartner und Sie sahnen satte Rabatte ab!
Robot
Über die Robot.txt die Robots richtig lenken
Das englische Wort Robot ist sinngemäß als Roboter bzw. Automat ins Deutsche zu übersetzen. Im Bereich Suchmaschinenoptimierung sind die Robots Computer Programme, welche das Internet für die Suchmaschinen voll automatisch durchsuchen, die Webseiten in ihren Datenbestand aufnehmen und indexieren können. Die Robots werden auch als Crawler oder Spider bezeichnet.
In der Regel arbeiten die Robots beim Durchlesen einer Webseite völlig selbstständig. Sie können dabei jedoch zusätzlich gelenkt werden. Dieses erfolgt anhand einer Datei, welche einen verbindlichen Namen und einen verbindlichen Platz auf jeder Webseite hat: die Datei Robots.txt, die in der Root Directory (Stammverzeichnis) jeder Webseite untergebracht werden muss.
Robots.txt ist die erste Datei, die die Robots lesen. Von ihr entnehmen sie, wie sie die Webseite zu lesen haben: Vollständig lesen, gar nicht lesen, teilweise (nur bestimmte Ordner oder Dateien) lesen. Die Robots.txt kann den Robots individuelle Anweisungen geben: die Seite für manche sperren, für andere ganzheitlich lesbar machen.
Der Aufbau der Datei Robots.txt ist sehr simpel. Zum Beispiel: Durch den Befehl disallow (Deutsch: verbieten) gibt sie die Namen der Bereiche der Seite an, die nicht gelesen werden dürfen. Nicht verbotene Bereiche dürfen eben gelesen werden. Ebenfalls per disallow kann die ganze Seite für bestimmte Robots gesperrt werden.
Der Nutzen der Datei Robots.txt liegt darin, dass der Webseiten Betreiber das Verhalten der Suchmaschinen Robots nach eigenem Bedarf temporär regeln kann. So ist es sehr sinnvoll, das Lesen der Webseite zu verbieten, während sie umgebaut wird. Vor unseriösen Robots, die die Verbote von Robots.txt ignorieren, sollten Ordner über Passwörter geschützt werden.
<< Zurück