如何禁止搜索引擎蜘蛛抓取网站内容?
发表日期:2023-03-03 22-03-48来源:西安建站网浏览次数:5577标签:SEO优化
正常情况下,我们的网站都是希望被搜索引擎抓取的,因为这样有利于我们网站信息收录,获得流量。但是有的时候,因为特殊情况,我们不希望搜索引擎抓取网站的部分内容,那么我们应该如何设置。其实很简单,给网站根目录下(一般是www目录下)建一个robots.txt文件,文件代码如下:
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /images
Sitemap: http://www.jzmohe.com/sitemap.html
Sitemap: http://www.jzmohe.com/sitemap.xml
解释:
User-agent: * 为允许所有的搜索引擎蜘蛛抓取;
搜索引擎:为 百度、谷歌、360、搜狗这些;
Disallow: /admin 表示为不允许爬虫抓取,比如说不允许抓取网站后台内容;
Sitemap: http://www.jzmohe.com/sitemap.html 为提交网站的地图给搜索引擎,为了让蜘蛛更好的抓取。
如没特殊注明,文章均为魔盒建站网原创,转载请注明来自 http://www.jzmohe.com/news/15