# robots.txt generiert von www.webmasterelite.de
# URL:http://www.web24-marketing.de

# Alle Roboter spidern die Domain
User-agent: *
Disallow:


User-agent: googlebot
Disallow: /cgi-bin/
Disallow: /www.web24.marketing.de
Disallow: /www.web24.marketing.de/aktuelles.html



# ===================================
# Generator: http://pixelfolk.net/tools/robots
# Erstellt am: 24.12.2009, 06:43
# Webseite: http://www.web24-marketing.de
# ===================================


# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /temp/

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: googlebot
User-agent: googlebot-image
User-agent: yahoo-slurp
User-agent: msnbot
User-agent: psbot
User-agent: teoma
User-agent: exabot
User-agent: gigabot
User-agent: ia_archiver
User-agent: baiduspider
User-agent: nutch
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
Disallow: /