## robots.txt User-agent: * Disallow: /cgi-bin/ # various scripts that should not be indexed Disallow: /images/ # Bilddateien die nicht zugänglich sein sollen Disallow: /secondlevel/ # Unterordner die nicht zugänglich sein sollen