返回列表 发新帖

如何分析网站日志文件

484.5k 14
swmozowtfl 发表于 2015-7-19 20:49:26|湖北 | 查看全部 阅读模式
如果你的博客或网站是搭建在付费主机上,如果你是博客或网站的站长,如果你连原始访问日志是什么都不知道,或者对其根本不屑一顾,我只能说你是一个不称职的网站站长,一旦网站出问题,必定是束手无策!相信大家都在自己的网站上安装了网站统计的代码,如Google analytics、量子统计、百度统计、cnzz、51.la等,这些工具可以统计网站的流量,也就是网站**客可以看到的所有页面的访问量,但是这些统计工具都不能统计你主机上资源的原始访问信息,例如某个图片被谁下载了,也不能统计到那些没有添加统计代码的地方,比如后台操作页面。

5 B1 X/ Y; s2 ^8 f# h
绝大多数收费主机都提供原始访问日志,网站服务器会把每一个访客来访时的一些信息自动记录下来,保存在原始访问日志文件中,如果你的主机不提供日志功能,建议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息,包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源,同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等,可以说原始访问日志记录了主机的所有资源使用情况。

7 ]" o- V3 z6 \! B/ v6 q6 c2 O
5 X" y8 K% \, H% \& {# b+ b
分析网站日志有什么作用?
$ f1 W/ E$ A. j1 v
, S- E4 e4 z; q5 E+ h

* A6 q% O9 }& }. y7 j: r
1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销)点此识别Baiduspider真伪 ;
# U( Z+ P0 b( Q. F
2、通过分析网站日志,我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短,我们可以依次有针对性的对我们的网站进行微调 ;

4 T  x( u" W% P% s" c4 S% B! u
3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。
& L9 x/ F* c$ Y
- C" O. b9 D0 ?  K5 `
网站日志文件存放在什么地方?

- Y# U4 i/ T3 m8 Q
* Z- i8 @( F! ?( k
- g5 K4 l' O+ D% O- j/ P9 e( W( v7 G" H
一般的虚拟主机都提供日志文件,但是不同的虚拟主机系统会提供不同的LOG文件存储文件名,笔者使用的是万网的虚拟主机,日志文件存储在wwwlogs文件夹下。

8 v% h2 A. X3 S/ K& q

如何分析网站日志文件

如何分析网站日志文件
1 N! D9 s! o  Q9 y

2 l$ @7 L) a, _9 U0 v  c7 C" ^1 v* P* {. F
网站日志文件里面的记录怎么看?

: S& X/ [/ |  _% W

) `% T6 d8 ?1 S/ y
7 k2 l( `1 z4 S; c
原始访问日志每一行就是类似以下的记录:
: E3 k% e5 e0 E: R
116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "[color=black !important]http://www.weiaipin.cn" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"( j0 A2 c/ T6 e/ f9 W
  N# k9 }3 ?& O. B

( p- P, J8 H2 J- ~  U/ S% n4 h% t/ q$ n; C- h* ~/ d
下面我们来说说这一行记录的意思:

4 }; y' J7 n% z6 B% ~! `; e1 S. T, T3 J3 |
116.231.220.179

7 ~9 _( y7 z9 K, a5 M' N
这是访客(也可能是机器人)的IP

) F2 G+ N0 d! G- r6 s5 s9 p3 N- |8 P8 _
[25/Mar/2015:11:21:15 +0800]

- g* _* p4 r+ f" Q7 T/ h
这是访客访问该资源的时间(Date),+0800是该时间所对应的时区,即与格林威治时间相差+8个小时
7 l* o- \2 B4 ^- L8 [4 b
9 m! z/ w: a% B) q& a/ @
"GET /blog/article/10.html HTTP/1.1"
# U  a6 z6 k, w
请求信息,包括请求方式、所请求的资源以及所使用的协议,该语句的意思就是以GET方式,按照HTTP/1.1协议获取网页/blog/article/10.html,10html为网站上的某个页面。
; e, h, d: c1 ~: P; b0 y# G  a
" C; T7 H/ b  C1 c/ {1 p
200 8671
! ]; X) Y, l+ ~3 ?5 \* m4 K
200为该请求返回的状态码(Http Code),不同的状态码代表不同的意思,具体请阅读 HTTP 状态代码;8671为此次请求所耗费的流量(Size in Bytes),单位为byte
& ~; w1 `6 I" F% ?

$ `. }* O; r% a; l8 ]' W+ O( Y4 l
"htt p://www. weiaipin .cn/"

; T$ E3 B0 W. M1 d9 l" ]% y8 V. L
为访客来源(Referer)。这一段是告诉我们访客是从哪里来到这一个网页。有可能是你的网站其他页,有可能是来自搜索引擎的搜索页等。通过这条来源信息,你可以揪出盗链者的网页。
, ?2 h6 X% P2 D9 ?* B: J3 \
) V" z. w3 d' R/ T
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"

) C; R' e# S, s6 c* y. c
为访客所使用的浏览器类型(Agent),这里记录了用户使用的操作系统、浏览器型号等信息。

2 T! l% P' K& D% f& Q. v; F6 S. U) E+ o! d) H
如何分析网站日志中的内容?
# R8 u3 U+ W) q
7 c! @3 S$ A* ]! n5 @- M* m+ S7 @

, b! C( ^1 `' C. w$ [
1、注意那些被频繁访问的资源

8 K1 n$ D+ S, O3 g- t
如果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。
$ m- a! {% E2 {1 B0 ]1 L( w/ C
: O  t3 Y; M$ K6 p0 E# u+ \0 {
2、注意那些你网站上不存在资源的请求

) m$ R7 Y. [0 d
如果某些请求信息不是本站的资源,Http Code不是403就是404,但从名称分析,可能是保存数据库信息的文件,如果这些信息让别人拿走,那么攻击你的网站就轻松多了。发起这些请求的目的无非就是扫描你的网站漏洞,通过漫无目的地扫描下载这些已知的漏洞文件,很可能会发现你的网站某个漏洞哦!通过观察,可以发现,这些请求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型,以上我提供的日志格式化工具已经集成了对这些请求的警报功能。我们可以通过禁止这些Agent的访问,来达到防止被扫描的目的,具体方法下面再介绍。
, A0 p5 ]  b6 y" R$ `% }- [

& t& [6 @8 x6 c; V$ Y. E7 u: u
9 l  N: k$ U1 O* m
3、观察搜索引擎蜘蛛的来访情况
7 o# _. W9 M- }/ c: |8 K
通过观察日志中的信息,你可以看出你的网站被蜘蛛访问的频率,进而可以看出你的网站是否被搜索引擎青睐,这些都是seo所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下:

* d/ \( n; U% Z; E8 e
Google蜘蛛 :Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

$ t0 w5 B- D; J+ a/ t5 M2 w, r
Baidu蜘蛛 :Baiduspider+(+http://www.baidu.com/search/spider.htm)
# D1 ~, i6 a& R0 Q# f# |
Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

: ?* D+ V3 S7 A) h: M9 [
Yahoo!中国蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

8 ]2 m& Z+ q# |1 h4 N- x
微软Bing蜘蛛 :msnbot/2.0b (+http://search.msn.com/msnbot.htm)

: Y  g( O" v) s! C8 v; ~
Google Adsense蜘蛛 :Mediapartners-Google

" K' U- y" E# F* m8 \& f4 t! K
有道蜘蛛 :Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/)
& @3 y( Y( a# l) M+ E6 b
Soso搜搜博客蜘蛛 :Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)

+ R" q$ V" o/ u9 |0 M, z% \
Sogou搜狗蜘蛛 :Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

& @, }+ K' b9 v. j! R
Twiceler爬虫程序 :Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

0 w1 K6 S, P. y' Q! B1 X
Google图片搜索蜘蛛 :Googlebot-Image/1.0
* ?- b' z% m, b+ x0 D
俄罗斯Yandex搜索引擎蜘蛛 :Yandex/1.01.001 (compatible; Win16; I)
; W# a) [9 j! J6 @) M
Alexa蜘蛛 :ia_archiver (+http://www.alexa.com/site/help/webmasters)
; g" a, A/ ?/ D# e. G& s
Feedsky蜘蛛 :Mozilla 5.0 (compatible; Feedsky crawler /1.0)
5 m4 F1 y8 a. C/ \3 i/ V, c
韩国Yeti蜘蛛:Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
! S+ ^8 Q! {- r/ n  q' \

, u+ P1 D  j! y1 N, V# e% z  ?9 ?8 x- l7 f+ h1 ~1 l6 S
4、观察访客行为

# \' E( Q' e# h! Q: ]/ N9 c
通过查看格式化后的日志,可以查看跟踪某个IP在某个时间段的一系列访问行为,单个IP的访问记录越多,说明你的网站PV高,用户粘性好;如果单个IP的访问记录希希,你应该考虑如何将你的网站内容做得更加吸引人了。通过分析访客的行为,可以为你的网站建设提供有力的参考,哪些内容好,哪些内容不好,确定网站的发展方向;通过分析访客的行为,看看他们都干了些什么事,可以揣测访客的用意,及时揪出恶意用户。

1 r% l3 ?! L8 T( S5 l% ]" N1 V5 G! u6 C+ e; K7 B
常用网站日志分析软件有哪些?
0 H/ p; n) `( p2 z3 P% e* \
9 n& Y9 H$ x. B( U) m' N. P% o
" n; k( |0 V9 f
笔者试用过很多网站日志分析工具,常用的并且功能又比较全面的大概有三款:光年SEO日志分析系统、逆火网站日志分析器、Web Log Explorer。
' I0 K, Y; S* y. [% P/ k

" e0 _1 _6 B! F' Y" h1 R9 M5 v% i9 Y6 s% C, B, i# i. c
原文出处链接:http://www.weiaipin.cn/blog/article/31.html: s' c( P: V. o: b$ d0 ~8 ]
得知互动论坛原创作者:品哥
) b1 q3 `* H, c0 G4 Z! ^4 |日期:2015-07-08

回复|共 14 个

Acropozelan 发表于 2015-7-26 13:40:17|美国 | 查看全部
@,@..是什么意思呀?
tohme 发表于 2015-7-26 13:45:49|日本 | 查看全部
这日子没法过了....
GoodyFouppy 发表于 2015-7-26 13:49:44|美国 | 查看全部
下次有人骂我了...我给他还回去..
mwxny 发表于 2015-7-26 13:58:29|中国 | 查看全部
这个得知互动技术交流论坛很不错
effoggikeftor 发表于 2015-12-8 22:25:50|美国 | 查看全部
哎 我我我怎么办啊??
bqtklouu 发表于 2015-12-8 22:26:04|美国 | 查看全部
今天没事来逛逛
GoodyFouppy 发表于 2015-12-8 22:26:14|以色列 | 查看全部
我在顶贴~!~
alapScady 发表于 2015-12-8 22:26:33|IANA | 查看全部
到你的~~贴吧收藏~~~我的发言~`找
GoodyFouppy 发表于 2015-12-8 22:27:02|美国 | 查看全部
本人过去、现在以及将来都不认识楼主,且自古以来与楼主无利益关系。楼主表述之事与本人无关
GoodyFouppy 发表于 2017-4-11 14:56:54|美国 | 查看全部
我不是来为楼主呐喊加油的,也不是对楼主进行围堵攻击的。
tohme 发表于 2017-4-11 14:58:59|罗马尼亚 | 查看全部
感谢党和人民的关爱~~~
wwzcdenleclv 发表于 2017-4-11 14:59:14|美国 | 查看全部
怎么就没人拜我为偶像那??
Mqokjdvq 发表于 2017-4-11 14:59:40|美国 | 查看全部
其实今天baidu 又 抽风了
GoodyFouppy 发表于 2017-4-11 15:03:51|美国 | 查看全部
终于看完了~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表