# robots.txt zu http://www.gehl-ing.de/ #User-agent: UniservalRobot/1.0 #User-agent: mein-Robot #Disallow: /quellen/dtd/ #Allow: /quellen/dtd/index.html #Die genauen Namen der Suchmaschinen muss man kennen. #Alle Suchmaschinen (Robots) werden mit * ausgewählt User-agent: * Disallow: /A/ Disallow: /css/ Disallow: /EnglischerGartenMaterial/ Disallow: /logs/ Disallow: /PrivateWebsite/ Allow: /index.html Allow: /content/ Allow: /fun/ Allow: /img/