# infos at http://www.at-web.de/grundlagen/robots-txt.htm # Syntax Checker # http://tool.motoricerca.info/robots-checker.phtml #Avoid duplicate Content #http://blog.comsolit.org/2009/02/typo3-und-canonical/ User-agent: GoogleBot #Disallow: /*?id=* Disallow: /*&type=98 User-agent: * # disallow typo3temp Disallow: /typo3temp/ # point to google Sitemap Sitemap: http://www.nextsystem.at/sitemap.xml # Wird ein Webserver zu heftig gecrawlt, kann eine Zeit angegeben werden, die zwischen den Seitenabrufen einzuhalten ist. # 10 seconds delay # Crawl-delay: 10