当前位置:成都SEO > 百度蜘蛛

百度蜘蛛相关文章

标签:百度蜘蛛  发布时间: 2017-07-02 23:00:00

与淘宝类似,阻止百度蜘蛛抓取了淘宝。 当然,我们在进行网站优化时通常不需要屏蔽百度蜘蛛,但是在必要时,我们也会使用屏蔽蜘蛛,例如,需要通过屏蔽蜘蛛来抓取网站的登录页面和注册页面或动态页面。 以免权重分散。 下面来介绍几个屏蔽百度蜘蛛抓取的方法


如何屏蔽百度蜘蛛 第1张

一、robots.txt屏蔽百度蜘蛛抓取

淘宝网就是使用了这种技术来屏蔽百度抓取的,所以我们可以看到,在淘宝网的robots文件里面有一句这样的话:

User-agent: baiduspider
Disallow: /

其目的就是屏蔽百度蜘蛛抓取淘宝网的任意一个页面,但是这种方法屏蔽的并不是很完全,我们在百度搜索“淘宝网”还是会出现官方网站的。

二、robots Meta标签

robots Meta标签也可以屏蔽搜索引擎抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head>&hellip;</head>”之间,如下所示:

<head> … 

<meta name=”robots” content=”index,follow” /> 

</head>

三、.htaccess屏蔽

如果说使用robor无法全部屏蔽你的网站,那么你可以.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* - [F]

方法2:

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

四、服务器屏蔽

许多空间商为了减少服务器负担,故意屏蔽蜘蛛抓取,导致网站无法被搜索引擎收录,在这里我们也可以设置利用服务器屏蔽搜索器的抓取。主要原理是分析网站日志,找到搜索引擎抓取的IP,然后对其IP进行屏蔽。但是这种方法并不是很实用,毕竟不能屏蔽单页面和修改都不是很灵活。具体方法需要参考服务器设置。

总结:有很多方法,只是在此处写下以供参考。 我个人认为,robots文件使用最多,因此其他几种方法即使可用,但建议不要这样做。

摘要:特科网专注百度蜘蛛教程,屏蔽百度蜘蛛推广,robots培训,成都SEO优化培训公司提供SEO顾问、百度关键词排名优化服务。

网站推广排名靠前有什么好处?

网站推广排名靠前有什么好处?客户的认可度,很多客户想要了解一个公司,都会到网上查找公司的官网。企业的知名度、暴光率,做SEO关键词优化我们需要在网络上发布我们的信息,基本是到处撒网。订单,现在我看到一个很小很小的小店面企业都知道在做SEO网站推广和建立属于自己的网站。

2020-08-19 19:47:02 网站推广排名SEO网站推广收录SEO关键词优化SEO优化百度蜘蛛
阅读: 1 2020-08-19 19:47:02

哪些百度搜索引擎优化方法不常用?

百度搜索引擎优化,了解百度快照机制来优化网站,搜索引擎提供相关性搜索,给长尾优化带来契机,学会搜索引擎分词技巧进行优化,通过百度蜘蛛的途径做好页面优化

2020-06-23 18:02:59 百度搜索引擎优化搜索引擎优化百度快照机制百度蜘蛛优化网站
阅读: 2 2020-06-23 18:02:59

如何屏蔽百度蜘蛛

屏蔽百度蜘蛛的方法,与淘宝类似,阻止百度蜘蛛抓取了淘宝。 当然,我们在进行网站优化时通常不需要屏蔽百度蜘蛛,但是在必要时,我们也会使用屏蔽蜘蛛

2017-07-02 23:00:00 百度蜘蛛屏蔽百度蜘蛛robotshtaccess
阅读: 1 2017-07-02 23:00:00