################################################################# # robots.txt # # for listing of bot names, see http://www.robotstxt.org/db.html ################################################################# # start by allowing everything User-agent: * Allow: / # block certain paths User-agent: * Disallow: /api Disallow: /blog Disallow: /connect Disallow: /sandbox ################################################################# # this section only meant for dev - block EVERYTHING # COMMENT this section out when deploying to PROD #User-agent: googlebot #User-agent: Slurp # yahoo bot #User-agent: msnbot # bing, msn #User-agent: AskJeeves # ask.com #User-agent: Teoma # ask.com #User-agent: Alexa # alexa.com #Disallow: / ################################################################# # SITEMAP FILES # 10meg filesize limit uncompressed, 50k url count limit Sitemap: http://slamgreetings.com/sitemap