如果你的博客或网站是搭建在付费主机上,如果你是博客或网站的站长,如果你连原始访问日志是什么都不知道,或者对其根本不屑一顾,我只能说你是一个不称职的网站站长,一旦网站出问题,必定是束手无策!相信大家都在自己的网站上安装了网站统计的代码,如Google analytics、量子统计、百度统计、cnzz、51.la等,这些工具可以统计网站的流量,也就是网站**客可以看到的所有页面的访问量,但是这些统计工具都不能统计你主机上资源的原始访问信息,例如某个图片被谁下载了,也不能统计到那些没有添加统计代码的地方,比如后台操作页面。
5 B1 X/ Y; s2 ^8 f# h绝大多数收费主机都提供原始访问日志,网站服务器会把每一个访客来访时的一些信息自动记录下来,保存在原始访问日志文件中,如果你的主机不提供日志功能,建议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息,包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源,同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等,可以说原始访问日志记录了主机的所有资源使用情况。
7 ]" o- V3 z6 \! B/ v6 q6 c2 O
5 X" y8 K% \, H% \& {# b+ b分析网站日志有什么作用? $ f1 W/ E$ A. j1 v
, S- E4 e4 z; q5 E+ h
* A6 q% O9 }& }. y7 j: r1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销)点此识别Baiduspider真伪 ; # U( Z+ P0 b( Q. F
2、通过分析网站日志,我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短,我们可以依次有针对性的对我们的网站进行微调 ;
4 T x( u" W% P% s" c4 S% B! u3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。 & L9 x/ F* c$ Y
- C" O. b9 D0 ? K5 `
网站日志文件存放在什么地方?
- Y# U4 i/ T3 m8 Q* Z- i8 @( F! ?( k
- g5 K4 l' O+ D% O- j/ P9 e( W( v7 G" H
一般的虚拟主机都提供日志文件,但是不同的虚拟主机系统会提供不同的LOG文件存储文件名,笔者使用的是万网的虚拟主机,日志文件存储在wwwlogs文件夹下。
8 v% h2 A. X3 S/ K& q
如何分析网站日志文件
1 N! D9 s! o Q9 y
2 l$ @7 L) a, _9 U0 v c7 C" ^1 v* P* {. F
网站日志文件里面的记录怎么看?
: S& X/ [/ | _% W
) `% T6 d8 ?1 S/ y 7 k2 l( `1 z4 S; c
原始访问日志每一行就是类似以下的记录: : E3 k% e5 e0 E: R
116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "[color=black !important]http://www.weiaipin.cn" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"( j0 A2 c/ T6 e/ f9 W
N# k9 }3 ?& O. B
( p- P, J8 H2 J- ~ U/ S% n4 h% t/ q$ n; C- h* ~/ d
下面我们来说说这一行记录的意思:
4 }; y' J7 n% z6 B% ~! `; e1 S. T, T3 J3 |
116.231.220.179
7 ~9 _( y7 z9 K, a5 M' N这是访客(也可能是机器人)的IP
) F2 G+ N0 d! G- r6 s5 s9 p3 N- |8 P8 _
[25/Mar/2015:11:21:15 +0800]
- g* _* p4 r+ f" Q7 T/ h这是访客访问该资源的时间(Date),+0800是该时间所对应的时区,即与格林威治时间相差+8个小时 7 l* o- \2 B4 ^- L8 [4 b
9 m! z/ w: a% B) q& a/ @
"GET /blog/article/10.html HTTP/1.1" # U a6 z6 k, w
请求信息,包括请求方式、所请求的资源以及所使用的协议,该语句的意思就是以GET方式,按照HTTP/1.1协议获取网页/blog/article/10.html,10html为网站上的某个页面。 ; e, h, d: c1 ~: P; b0 y# G a
" C; T7 H/ b C1 c/ {1 p
200 8671 ! ]; X) Y, l+ ~3 ?5 \* m4 K
200为该请求返回的状态码(Http Code),不同的状态码代表不同的意思,具体请阅读 HTTP 状态代码;8671为此次请求所耗费的流量(Size in Bytes),单位为byte & ~; w1 `6 I" F% ?
$ `. }* O; r% a; l8 ]' W+ O( Y4 l"htt p://www. weiaipin .cn/"
; T$ E3 B0 W. M1 d9 l" ]% y8 V. L为访客来源(Referer)。这一段是告诉我们访客是从哪里来到这一个网页。有可能是你的网站其他页,有可能是来自搜索引擎的搜索页等。通过这条来源信息,你可以揪出盗链者的网页。 , ?2 h6 X% P2 D9 ?* B: J3 \
) V" z. w3 d' R/ T
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"
) C; R' e# S, s6 c* y. c为访客所使用的浏览器类型(Agent),这里记录了用户使用的操作系统、浏览器型号等信息。
2 T! l% P' K& D% f& Q. v; F6 S. U) E+ o! d) H
如何分析网站日志中的内容? # R8 u3 U+ W) q
7 c! @3 S$ A* ]! n5 @- M* m+ S7 @
, b! C( ^1 `' C. w$ [1、注意那些被频繁访问的资源
8 K1 n$ D+ S, O3 g- t如果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。 $ m- a! {% E2 {1 B0 ]1 L( w/ C
: O t3 Y; M$ K6 p0 E# u+ \0 {
2、注意那些你网站上不存在资源的请求
) m$ R7 Y. [0 d如果某些请求信息不是本站的资源,Http Code不是403就是404,但从名称分析,可能是保存数据库信息的文件,如果这些信息让别人拿走,那么攻击你的网站就轻松多了。发起这些请求的目的无非就是扫描你的网站漏洞,通过漫无目的地扫描下载这些已知的漏洞文件,很可能会发现你的网站某个漏洞哦!通过观察,可以发现,这些请求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型,以上我提供的日志格式化工具已经集成了对这些请求的警报功能。我们可以通过禁止这些Agent的访问,来达到防止被扫描的目的,具体方法下面再介绍。 , A0 p5 ] b6 y" R$ `% }- [
& t& [6 @8 x6 c; V$ Y. E7 u: u
9 l N: k$ U1 O* m3、观察搜索引擎蜘蛛的来访情况 7 o# _. W9 M- }/ c: |8 K
通过观察日志中的信息,你可以看出你的网站被蜘蛛访问的频率,进而可以看出你的网站是否被搜索引擎青睐,这些都是seo所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下:
* d/ \( n; U% Z; E8 eGoogle蜘蛛 :Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
$ t0 w5 B- D; J+ a/ t5 M2 w, rBaidu蜘蛛 :Baiduspider+(+http://www.baidu.com/search/spider.htm) # D1 ~, i6 a& R0 Q# f# |
Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
: ?* D+ V3 S7 A) h: M9 [Yahoo!中国蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
8 ]2 m& Z+ q# |1 h4 N- x微软Bing蜘蛛 :msnbot/2.0b (+http://search.msn.com/msnbot.htm)
: Y g( O" v) s! C8 v; ~Google Adsense蜘蛛 :Mediapartners-Google
" K' U- y" E# F* m8 \& f4 t! K有道蜘蛛 :Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/) & @3 y( Y( a# l) M+ E6 b
Soso搜搜博客蜘蛛 :Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)
+ R" q$ V" o/ u9 |0 M, z% \Sogou搜狗蜘蛛 :Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
& @, }+ K' b9 v. j! RTwiceler爬虫程序 :Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
0 w1 K6 S, P. y' Q! B1 XGoogle图片搜索蜘蛛 :Googlebot-Image/1.0 * ?- b' z% m, b+ x0 D
俄罗斯Yandex搜索引擎蜘蛛 :Yandex/1.01.001 (compatible; Win16; I) ; W# a) [9 j! J6 @) M
Alexa蜘蛛 :ia_archiver (+http://www.alexa.com/site/help/webmasters) ; g" a, A/ ?/ D# e. G& s
Feedsky蜘蛛 :Mozilla 5.0 (compatible; Feedsky crawler /1.0) 5 m4 F1 y8 a. C/ \3 i/ V, c
韩国Yeti蜘蛛:Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) ! S+ ^8 Q! {- r/ n q' \
, u+ P1 D j! y1 N, V# e% z ?9 ?8 x- l7 f+ h1 ~1 l6 S
4、观察访客行为
# \' E( Q' e# h! Q: ]/ N9 c通过查看格式化后的日志,可以查看跟踪某个IP在某个时间段的一系列访问行为,单个IP的访问记录越多,说明你的网站PV高,用户粘性好;如果单个IP的访问记录希希,你应该考虑如何将你的网站内容做得更加吸引人了。通过分析访客的行为,可以为你的网站建设提供有力的参考,哪些内容好,哪些内容不好,确定网站的发展方向;通过分析访客的行为,看看他们都干了些什么事,可以揣测访客的用意,及时揪出恶意用户。
1 r% l3 ?! L8 T( S5 l% ]" N1 V5 G! u6 C+ e; K7 B
常用网站日志分析软件有哪些? 0 H/ p; n) `( p2 z3 P% e* \
9 n& Y9 H$ x. B( U) m' N. P% o
" n; k( |0 V9 f
笔者试用过很多网站日志分析工具,常用的并且功能又比较全面的大概有三款:光年SEO日志分析系统、逆火网站日志分析器、Web Log Explorer。 ' I0 K, Y; S* y. [% P/ k
" e0 _1 _6 B! F' Y" h1 R9 M5 v% i9 Y6 s% C, B, i# i. c
原文出处链接:http://www.weiaipin.cn/blog/article/31.html: s' c( P: V. o: b$ d0 ~8 ]
得知互动论坛原创作者:品哥
) b1 q3 `* H, c0 G4 Z! ^4 |日期:2015-07-08 |