已帮助2000多家传统企业实现网上盈利!网上盈利从企业网站开始

TEL:0755-33560228

当前位置:首页 > 新闻中心 > 网络知识 >

新闻中心

如何让网站不被Baiduspider访问

来源:深圳网站建设公司 发布时间: 2015-11-13
最近有个朋友问我“我的网站可以不被Baiduspider访问吗?”我说,这是肯定的!百度蜘蛛遵守互联网robots协议。可以利用robots.txt文件完全禁止Baiduspider访问,或者禁止 Baiduspider访问您网站上的部分文件。但是要住注意是,禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。下面给大家介绍robots.txt的写法:

您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取:
User-agent: Baiduspider
Disallow: /

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

需要注意的是:Baiduspider-cpro抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议。