User-agent: BizInformation Disallow: / # Google AdSense User-agent: Mediapartners-Google* Disallow: # Googlebot User-agent: Googlebot Disallow: ########## # MSNBot User-agent: msnbot Disallow: ######### # Lycos User-agent: lycos Disallow: ################ # Yahoo! Slurp User-agent: Slurp Crawl-delay: 600 Disallow: #################### # W3C Link checker User-agent: W3C-checklink Disallow: ########## # Alexa User-agent: ia_archiver Disallow: ##### Auf folgende Verzeichnisse darf niemand zugreifen ##### # Google Bildersuche User-agent: Googlebot-Image Disallow: / # Alle Robots User-agent: * Disallow: /backup/ Disallow: /cgi-bin/ Disallow: /usage/ Disallow: /logs/ Disallow: /banner/ Disallow: /images/