Robots.txt

Bei der robots.txt handelt es sich wie die Dateiendendung verrrät um eine Textdatei, die auf dem Server einer Website gespeichert wird. Mit der robots.txt ist man in der Lage zu bestimmen, ob und welche Unterseiten die Crawler (bzw. Robots) von den einschlägigen Suchmaschinen wie Google, Bing und Yahoo besuchen und im Index aufnehmen dürfen. Dadurch erhalten Webmaster die Möglichkeit bestimmte Seiten vom Suchergebnis auszuschließen. Die robots.txt lässt sich übrigens mit jedem gewöhnlichen Texteditor bearbeiten.

Soweit die Theorie: Denn einige Crawler scheinen die robots.txt völlig zu ignorieren. Wenn es sich also um Seiten handelt die auf keinen Fall in den Suchmaschinen indexiert werden dürfen, empfiehlt es sich diese mit einem Passwortschutz auszustatten.