如何禁止搜索引擎蜘蛛抓取网站内容？

      正常情况下，我们的网站都是希望被搜索引擎抓取的，因为这样有利于我们网站信息收录，获得流量。但是有的时候，因为特殊情况，我们不希望搜索引擎抓取网站的部分内容，那么我们应该如何设置。其实很简单，给网站根目录下(一般是www目录下)建一个robots.txt文件，文件代码如下：

User-agent: * 

Disallow: /plus/ad_js.php

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

Disallow: /images

Sitemap: http://www.jzmohe.com/sitemap.html

Sitemap: http://www.jzmohe.com/sitemap.xml

解释：

User-agent: *    为允许所有的搜索引擎蜘蛛抓取；

搜索引擎：为 百度、谷歌、360、搜狗这些；

Disallow: /admin      表示为不允许爬虫抓取，比如说不允许抓取网站后台内容；

Sitemap: http://www.jzmohe.com/sitemap.html     为提交网站的地图给搜索引擎，为了让蜘蛛更好的抓取。