17推论坛

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 650|回复: 14

[SEO] 搜索引擎爬虫研究与原则

[复制链接]

该用户从未签到

发表于 2017-1-9 11:44 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

我们先来看一下它的定义:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

从以上的定义来看,百度蜘蛛,谷歌机器人都属于爬虫的一种,而爬虫主要是按照一定的规则,自动抓取信息的脚本或者程序,这个不难理解,有经验的程序员都能够独立的编写出来一套比较完整的蜘蛛程序,用来收集网络信息,充实自己的网站。其实很多的信息采集软件也是采用了这种技术。

那么我们在来看一下蜘蛛到底进行的什么工作:

0cce5cc70f86eec7ddde505057fbf714.jpg

每一种类型的资源,都有相应的蜘蛛爬虫来搜集,当然解析的方式也各不相同。我们经常能够在网站的日志中看到百度的spider和image-spider,不同的爬虫利用其自身的规则来对其页面进行解析。即使是这样, 我们也能够看到爬虫在爬去页面的时候还是有一定的规律性的,这种规律性则是来自于搜索引擎效率最大化的取舍。

  • 1、宽度优先遍历原则:这个原则是从网站自身做起的,根据网站的层级来抓取。因为我们在做网站的时候都有一个优先的考虑,比如我第一个想让搜索引擎看到的就是首页,其次的各个目录页面,再其次就是内容页面,蜘蛛也是利用这一点来抓取。
  • 2、非完全pagerank排序:这个原则就是利用谷歌的pr值来计算的。因为每一个网页在谷歌中都会有一个评分,根绝这些评分高低来抓取。如果完全计算就比较耗费计算资源,所以它就采用高pr值的网页传递出来的链接肯定都是可靠的。
  • 3、OPIC(online page importance computation在线页面重要性计算):这一个原则跟pr值计算相差无几,在采集的网页中来计算每一个网页的重要性,然后在进行优先抓取。
  • 4、大站优先策略:这个毋庸置疑了。因为大战比较符合信赖的原则。

其实我们可以看到,这种原则其实是对抓取的有限性和网页的无限性的一个折中,即在有限的时间内抓取网络中更为重要的页面和资源。当然我们也需要去了解网络爬虫工作的原理,这样的话更有利于我们去做SEO优化。


最近访问 头像模式 列表模式

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

签到天数: 4 天

[LV.2]偶尔看看I

发表于 2017-1-9 17:02 | 显示全部楼层
其实我们可以看到,这种原则其实是对抓取的有限性和网页的无限性的一个折中,

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 18 天

[LV.4]偶尔看看III

发表于 2017-1-10 13:31 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 18 天

[LV.4]偶尔看看III

发表于 2017-1-16 16:05 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 59 天

[LV.5]常住居民I

发表于 2017-1-19 11:14 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 92 天

[LV.6]常住居民II

发表于 2017-1-21 08:19 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 8 天

[LV.3]偶尔看看II

发表于 2017-2-5 13:33 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 60 天

[LV.6]常住居民II

发表于 2017-2-5 13:39 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 2 天

[LV.1]初来乍到

发表于 2017-2-8 08:47 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

签到天数: 1 天

[LV.1]初来乍到

发表于 2017-2-8 15:03 | 显示全部楼层

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,一个好办法就是给对方加【互助币】【热心币】,加分不会扣除自己的积分,做一个热心并受欢迎的人!

17推论坛给大家提供互助推广学习交流的平台,帮助人们更容易的学习和交流网络营销,如需添加个性签名请到个人资料里面修改

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|17推论坛 ( 皖ICP备14001855号

GMT+8, 2017-2-23 08:43 , Processed in 0.701819 second(s), 52 queries , Gzip On, Memcache On.

广告合作(9:30~19:30) | 论坛事务(9:30~17:00):

© 2001-2013 17推论坛(www.17tui.cc)

快速回复 返回顶部 返回列表