得知互动

标题: 利用蜘蛛爬取跟踪分析网站整体信息 [打印本页]
作者: DeGe    时间: 2013-5-19 20:56
标题: 利用蜘蛛爬取跟踪分析网站整体信息
　做网站的基本都知道蜘蛛是什么，其实蜘蛛就是一个搜索引擎的爬取程序，用来收录网站，然后在搜索引擎里面搜索呈现出来的页面。利用搜索引擎蜘蛛的爬取跟踪我们可以从中得到很多意想不到的信息从而更利于我们优化网站。. x, r/ H" l1 n* T/ r/ X
+ C2 }2 p4 _# L' c! ?; ?
　　1、 利用蜘蛛告诉我们死链接
) j5 h: y) x7 ]0 U
' C5 {- f5 @* N9 r/ Q8 l　　死链接对于网站的危害是非常大的，我们都知道，可以使用robots.txt来对其进行屏蔽，但如何找出这些链接成为我们很头疼的问题，而搜索引擎蜘蛛会告诉我们哪些是真正的死链接，当蜘蛛爬取到一个死链接网页的时候，会在IIS日志里返回一个404状态码，这个时候就是告诉我们，这个网面是不可访问的，是一个死链接，所以我们只要查看IIS日志我们就知道搜索引擎蜘蛛提示我们网站有哪些死链接，然后我们再用robots.txt屏蔽掉即可，这样就不会让死链接对我们的网站造成影响了。
: n% m& L, |9 l0 ]' ~# h; \; W% h7 l3 d; j
　　2、利用蜘蛛爬取的数量详细分析网站整体情况
% f: u) t* L% z) _5 f% e
# f' k& u+ ~( S  |　　我们可以通过IIS日志查询每天搜索引擎蜘蛛访问我们网站的次数，并且可以知道它访问了我们哪些页面，我们可以根据蜘蛛每天的爬取量就可以算出每个月蜘蛛的平均抓取量，这样我们就可以进行对比。4 v' S1 N& v2 e: v: Y+ k+ \
; n5 {$ ~2 j  z* \* C3 o3 e( f
　　提升蜘蛛爬取量有以下两个因素
. _! |2 F3 l% \6 c7 u$ L/ r) O
5 W7 q* N$ u6 o; W  k0 w　　1)外部链接质量和数量增加
- k- c3 M' _+ |) |% x2 H( p& K/ c. I8 W( Q5 @
　　外链数量越多，蜘蛛爬取次数也就越多，同样外链的质量和权重越高，蜘蛛抓取网站的次数也就会越多了。
/ m& J' Q( e$ `" W+ L/ B
& P. L' t9 F  o: K　　2)网站文章质量和更新频率, o6 q3 L' U; e1 _0 W; s; [  S

; K" K& O; f; Y8 L　　网站文章质量越好，蜘蛛来爬取后放出文章的通过率就会越高，蜘蛛爬取的次数就会增加，同样的道理，更新频率越快，蜘蛛爬取的频率也会增加。) x0 l! M) y8 |
' N8 B0 w: A3 s
　　从以上可以得出，如果网站每个月蜘蛛的爬取量是增加的，那我们就可以判断出来是由哪个因素引起的，也可以肯定网站权重也是随着蜘蛛爬取量上长而上升的，反之，蜘蛛的爬取量减少了，也可以确定，网站权重会随之下降。所以每天都要记录IIS日志的蜘蛛爬取量，然后根据这个来做网站优化的调整。) n, }/ t- t& u# S# l- d9 ?

3 N/ X- W  V- k* M4 E) L& o1 c9 c% m　　3、根据IIS日志的蜘蛛爬取分析服务器的稳定性
3 @5 n* N) [9 Q, D- {! [: ?' K% L8 y* R& H. T8 ^9 o' q
　　蜘蛛爬取我们的网站，如果网站不稳定，访问出了问题，蜘蛛就会返回503或500这样的状态码，并且也会出现200 0 64 这样的状态码，如果出现这种情况，首先要确定是什么时间产生的，需要马上联系服务器商或空间商，这样就可以马上解决我们所存在的问题。5 G- ~0 M9 b/ c

9 C" i8 p0 v# B. {$ X　　4、 利用IIS日志蜘蛛爬取深入分析
0 V9 i, t/ B8 f* O6 u6 _. T- B8 q4 l! m( y6 C
　　搜索引擎在爬取我们网站内容的时候，经常会出现有一些目录他在爬取之后就不再去重复爬取了，而有些目录甚至一些内页会重复的不断爬取，对于此我, Y. p0 b: @7 p+ `5 W8 D7 w4 c
作者: apgckwmm    时间: 2014-10-4 20:52
貌似我真的很笨????哎
作者: jckie    时间: 2014-10-4 21:11
不为楼主的标题所吸引，也不是被贴子的内容所迷惑。
作者: kjlqiyjws    时间: 2014-10-4 21:13
刚才游戏去了 ~~嘿嘿~~
作者: ofbnbaiinfnh    时间: 2014-10-4 21:27
呵呵 都没人想我~~
作者: pangio    时间: 2014-10-13 14:41
其实今天baidu 又 抽风了
作者: 亮凌庚    时间: 2014-10-13 15:04
这话从何说起那~~~
作者: apgckwmm    时间: 2014-10-13 15:05
下次有人骂我了...我给他还回去..
作者: 亮凌庚    时间: 2014-10-13 15:17
流量怎么又跌了
作者: kjlqiyjws    时间: 2014-10-13 15:28
我有家的感觉~~你知道吗
作者: jckie    时间: 2014-10-23 13:15
呵呵，等着就等着....
作者: apgckwmm    时间: 2014-10-23 13:22
一个个全都骑到老大头上来了...
作者: xiaoye    时间: 2014-10-23 13:24
朕在自己的寝宫~~~~
作者: pangio    时间: 2014-10-23 13:53
如本人留言违反国家有关法律，请网络管理员及时删除本人跟贴。本回贴不暗示、鼓励、支持或映射读者作出生活方式、工作态度、婚姻交友、子女教育的积极或消极判断。
作者: 亮凌庚    时间: 2014-10-23 14:00
貌似我没看懂那~~~
作者: effoggikeftor    时间: 2014-12-6 08:56
k了我一个月的站，刚才site的时候
作者: wwdu926a    时间: 2014-12-6 08:58
极品可以说是让你馨香满腹，三日不绝！！古人说的好：想要作文章，先要学做人。由作者的文章我们也可以揣测出作者定是成长在一个汗牛充栋，文化氛围浓厚而且精神面貌积 极向上的幸福家庭里面。在现在这个物欲横流，亲情冷淡的时代，能够在这样的家庭里
作者: alapScady    时间: 2014-12-6 08:58
出来混　迟早都是要灌的——不灌水怎么混啊
作者: gevaemaidovef    时间: 2014-12-6 08:59
能告诉我丫挺什么意思吗?赐教
作者: gevaemaidovef    时间: 2015-1-24 13:57
机会就像水中的鱼，耐心等待就能上钩。
作者: bqtklouu    时间: 2015-1-24 13:58
我不是来为楼主呐喊加油的，也不是对楼主进行围堵攻击的。
作者: effoggikeftor    时间: 2015-1-24 13:58
哈 你逗逗他啊
作者: 爱上空心菜    时间: 2015-1-24 13:59
终于看完了~~~



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4