天天站长

 找回密码
 用户注册
查看: 183|回复: 1

seo炒货连载:揭开蜘蛛的奥秘面纱

[复制链接]

438

主题

0

听众

1887

积分

白金会员

Rank: 5Rank: 5

UID
59202
积分
1887
威望
0
金币
1273
贡献
0
活跃
192
魅力
1
注册时间
2012-7-2
发表于 2012-12-15 11:16:06 |显示全部楼层
在A5,seoshy,chinaz狂看seo方面的文章,感到"题目党"越来越多,可以分享的越来越少。
Seo并没有说的那么简单,仅只稽留在"内容为王,外链为圣上","做好站内链接"的阶段,便会丧失自个儿的竞争力。理解更多的搜引得擎知识,做科学的seo,可以对自个儿做的每一件事体施行效果评估,才是真正的seoer。
好了,废话无几说,今日借助一个开源的爬行动物手续:larbin,简单绍介下搜引得擎爬行动物手续,也就是我们常说的"蜘蛛""spider"。
larbin是一种开源的网络爬行动物/网络蜘蛛,用c++语言实行。larbin目标是能够跟踪页面的url施行扩展的抓取,最终为搜引得擎提供广泛的数据出处。
一:下载larbin而且编译
下载都会,编译:
./configure
Gmake
有时会出现编译不对的情况,只要敞开./adns/internal.h文件,把568到571行注销掉就可以,而后在执行一次编译就可以了。
二:运行larbin
./larbin -c conf_file
选项-c是指定使役的配置文件,不指定时默认使役的是larbin.conf
三:手工提交URLlarbin
在larbin.conf中添加一行 inputport 1976,设置端口号,假如被占用,可以换其它一个没有被占用的端口。
接下来是本文的重点——奉告蜘蛛若何看待我们提交的URL,输入:
priority:1 depth:3 test:0  http://mygaofu.com
把网址提交付larbin,优先度为1;爬行深度为3,抓去提交的网站。
看见没?这和蜘蛛的调度手续很像,设定爬行的深度,爬行优先级,以及查询网页是否已经爬行。
小结:蜘蛛丝按照宽度优先原则,接合关紧度原则(priority),为了增长蜘蛛的爬行速率,对蜘蛛的爬行深度施行限止(depth)。这就是强调网站使役树形结构,减低网站深度,增长外链质量的端由。
仔细剖析,还可以发现更多。
由东阳高复供稿: 请千万保存链接,转载不保存链接,必究!

本文由北京移动网上营业厅http://www.sdsackol.com/提供 转载请注明出处
http://www.dlbbhome.com|http://www.eecbma.com

0

主题

0

听众

1016

积分

黄金会员

Rank: 4

UID
60080
积分
1016
威望
0
金币
675
贡献
0
活跃
2
魅力
1
注册时间
2013-12-23
发表于 2013-12-23 20:15:52 |显示全部楼层
好贴,绝对要支持下!!~~
[url=http://www.http://www.jsjlbbs.com/[b]建设交流论坛[/b][/url]
[url=http://www.http://www.jsjlbbs.com/][b]施工组织设计[/b][/url]<strong>
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 用户注册


|申请友情链接|关于我们|商家合作|广告报价|联系我们|法律声明|隐私条款|无图浏览|手机浏览|  


敬请您尊重网上道德,遵守《全国人大常委会关于维护互联网安全的决定》及中华人民共和国其它各项有关法律法规。

本网所有帖子均来源网友上传,本站未进行任何修改和未获取任何利益,且仅代表作者本人意见,不代表本网站立场。

天天站长 技术支持:杭州桐庐家园网络技术有限公司 广告合作:13968063988 在线QQ:18118865

Copyright ©2003-2012 Powered by 安网数据 All Rights Reserved. 备案信息:浙B2-20060153号