User-agent: *
Disallow:

# User-agent: (Der Name der Spider-Suchmaschine)
# Disallow: /Verzeichnis/ (Das nicht durchsucht werden soll.)