做网站的基本都知道蜘蛛是什么，其实蜘蛛就是一个搜索引擎的爬取程序，用来收录网站，然后在搜索引擎里面搜索呈现出来的页面。利用搜索引擎蜘蛛的爬取跟踪我们可以从中得到很多意想不到的信息从而更利于我们优化网站。% V7 }- b9 e5 \' |( ?: V# {" x
3 J. {( p( L4 S$ z; ` P* G 1、 利用蜘蛛告诉我们死链接3 U4 u/ {5 i) t; n
, O# X7 J( k9 z
死链接对于网站的危害是非常大的，我们都知道，可以使用robots.txt来对其进行屏蔽，但如何找出这些链接成为我们很头疼的问题，而搜索引擎蜘蛛会告诉我们哪些是真正的死链接，当蜘蛛爬取到一个死链接网页的时候，会在IIS日志里返回一个404状态码，这个时候就是告诉我们，这个网面是不可访问的，是一个死链接，所以我们只要查看IIS日志我们就知道搜索引擎蜘蛛提示我们网站有哪些死链接，然后我们再用robots.txt屏蔽掉即可，这样就不会让死链接对我们的网站造成影响了。* f' j3 J! i. {' N4 Y6 x3 G
, |/ ?5 V. p" @' U 2、利用蜘蛛爬取的数量详细分析网站整体情况
: t4 w1 q7 U, Y0 [% z1 a S
) J7 y5 e) K; l- p" J 我们可以通过IIS日志查询每天搜索引擎蜘蛛访问我们网站的次数，并且可以知道它访问了我们哪些页面，我们可以根据蜘蛛每天的爬取量就可以算出每个月蜘蛛的平均抓取量，这样我们就可以进行对比。
+ y! x7 d7 @ ?1 b% F+ l" h4 Q
( M7 ]4 f' I% f& i+ G' A 提升蜘蛛爬取量有以下两个因素
( I( c! U& a s) I
! q) _1 v1 p' B/ |0 O8 N4 D8 W, [ 1)外部链接质量和数量增加
' h* i+ d& Y' w
$ Q" P0 @7 T8 e" c# B. ? 外链数量越多，蜘蛛爬取次数也就越多，同样外链的质量和权重越高，蜘蛛抓取网站的次数也就会越多了。
" v, l/ P/ U0 g$ z: p+ t, K% x
6 P' g, J; O/ r* I1 L! J C 2)网站文章质量和更新频率* s* J7 L5 N5 j8 p9 S! V
3 f. J% R" k3 ]0 v- ~' m+ r9 K' }; S$ U
网站文章质量越好，蜘蛛来爬取后放出文章的通过率就会越高，蜘蛛爬取的次数就会增加，同样的道理，更新频率越快，蜘蛛爬取的频率也会增加。& \% K) E/ {0 ~: D: g1 y1 j
# W" Q* z6 s5 I" y( d" d 从以上可以得出，如果网站每个月蜘蛛的爬取量是增加的，那我们就可以判断出来是由哪个因素引起的，也可以肯定网站权重也是随着蜘蛛爬取量上长而上升的，反之，蜘蛛的爬取量减少了，也可以确定，网站权重会随之下降。所以每天都要记录IIS日志的蜘蛛爬取量，然后根据这个来做网站优化的调整。! ~0 B% {" E! A9 u# L
* Y6 y. r% n4 n6 v. X! h2 q 3、根据IIS日志的蜘蛛爬取分析服务器的稳定性
4 N6 R! M# [ k, |0 K- y5 b6 x1 @+ P) ]
蜘蛛爬取我们的网站，如果网站不稳定，访问出了问题，蜘蛛就会返回503或500这样的状态码，并且也会出现200 0 64 这样的状态码，如果出现这种情况，首先要确定是什么时间产生的，需要马上联系服务器商或空间商，这样就可以马上解决我们所存在的问题。# {0 f, }) J B+ H- `
+ T% v+ J, @5 B 4、 利用IIS日志蜘蛛爬取深入分析% \! F0 S$ |) s; C1 X
1 g" O& V# m3 o% Z+ S0 M
搜索引擎在爬取我们网站内容的时候，经常会出现有一些目录他在爬取之后就不再去重复爬取了，而有些目录甚至一些内页会重复的不断爬取，对于此我
6 `; F- w" K$ Y% O( p |
