pdir.de-Bot
Der pdir.de-Bot indentifiziert sich als:
Mozilla/5.0 (compatible; pdir.de-Bot/0.1; +http://pdir.de/pdir.de-Bot)
Möchten Sie verhindern das der pdir.de-Bot Ihre Webseite ausliest, können sie in Ihrer robots.txt folgenden Zeilen eintragen.
# pdir.de Webcrawler ausschließen
User-agent: pdir.de-Bot
Disallow: /
Möchten Sie nur Teile Ihrer Webseite für den Bot sperren können Sie wie folgt vorgehen:
# Verzeichnis images ausschließen
Disallow: /images/
oder
# Datei default.html ausschleißen
Disallow: /default.html
oder
# alle Dateien und Verzeichnisse die mit datei beginnen ausschließen
Disallow: /datei