怎么确定百度蜘蛛真假以及如何多抓取网站

  • A+
所属分类:SEO教程

网站日志分析是SEOer基本能力,通过网站日志可以反映很多网站表面看不到的情况,比如:有没有404页面,百度,谷歌等搜索引擎有没有来抓取,访问了多少次,什么时候来访问的,网站有没有被恶意攻击。当我们看到有很多百度蜘蛛的IP来访问的时候也不要高兴太早,因为我们要小心这里会存在假的搜索引擎蜘蛛IP,那么如果分辨这些真假蜘蛛IP段,方法也较简单,今天小九就来给大家分享一下如何区分真假蜘蛛以及如何让蜘蛛多抓取网站。

怎么确定百度蜘蛛真假以及如何多抓取网站

 

抓取格式

当我们看的多了有经验了也就能一眼看出哪些是真的百度蜘蛛IP

真蜘蛛官方文档这样记录:

新版移动UA:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

所以根据百度的说法,不是长这个样子的就都是假的了,统统拉出去,比如就有一个这样的百度假蜘蛛。

 

DOS命令查看

我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.37,

开始—运行—输入 cmd ,用命令nslookup +ip 看截图:

如果是真的IP段:

怎么确定百度蜘蛛真假以及如何多抓取网站

 

假的:

怎么确定百度蜘蛛真假以及如何多抓取网站

注意:只要是百度的IP段,代码中会有出现:name:baiduspider,如果没有出现,那就不说不是真的百度IP。

 

让百度蜘蛛多抓取网站

  • Sitemap

定期将网站链接放到Sitemap中,然后将Sitemap提交给百度。百度会周期性的抓取检查您提交的Sitemap,对其中的链接进行处理,但收录速度慢于主动推送。加入熊掌号效果会更佳。

 

  • 友链

友情链接一定要做好,一个新站想要快速的站稳脚跟快速被收录,很大一部分是需要友情链接的,而且是优质的友情链接,找友情链接的标准一定要是按时更新内容、百度收录数量正常、站内友链不多、内容质量高、权重不低于自己的网站做友链,还要记住按时去检查友链。

 

  • 外链

除了友链之外就是外链了,发外链是为了引蜘蛛来抓取我们网站.到各大外链平台发布自己的高质量外链,留下链接引导蜘蛛进入你的网站,外链也不是乱发的,要找相关性高的网站发布外链,并且权重要高、收录要快、快照要及时更新的网站,外链不能只看数量,重要的是质量。

 

  • 内容

没有内容的网站做再多的外链都是徒劳的,一个网站的内容才是吸引搜索引擎蜘蛛的根本,搜索引擎蜘蛛之所以来到你的网站,就是为了抓取高质量的内容,如果你的网站没有做任何的推广,而你的网站内容质量非常高,并且每天按时更新,那么百度蜘蛛也是会天天来你的网站的。

 

  • 内链

这是一个大多数网站都忽略的东西,内链,内链的作用其实是很重要的,蜘蛛的爬行轨迹是顺着一个链接到另一个链接,想让搜索引擎蜘蛛更好地爬行,一般都需要通过反向链接来引导,但是内页的爬行就需要良好的内部链接了,如果不注意形成死链断链,蜘蛛就无从爬起,也就谈不上良好收录了。

 

  • 内容更新

这里说的更新是指网站内容更新的频率和数量,为了能让蜘蛛每天在某个时间点按时来你的网站抓取内容,你要先有一个更新内容的规律,比如说每天的早晨几点更新几篇文章,每天的下午几点更新几篇文章,久而久之,搜索引擎蜘蛛摸清楚了你更新的规律后,他也会跟着你的规律来你的网站抓取内容,而如果你三五天不更新,突然有天更新很多内容,这样只会让搜索引擎蜘蛛很久想起你了之后才会来你的网站一次。

小九

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: