返回列表 发新帖

如何分析网站日志文件

484.5k 14
swmozowtfl 发表于 2015-7-19 20:49:26|湖北 | 查看全部 阅读模式
如果你的博客或网站是搭建在付费主机上,如果你是博客或网站的站长,如果你连原始访问日志是什么都不知道,或者对其根本不屑一顾,我只能说你是一个不称职的网站站长,一旦网站出问题,必定是束手无策!相信大家都在自己的网站上安装了网站统计的代码,如Google analytics、量子统计、百度统计、cnzz、51.la等,这些工具可以统计网站的流量,也就是网站**客可以看到的所有页面的访问量,但是这些统计工具都不能统计你主机上资源的原始访问信息,例如某个图片被谁下载了,也不能统计到那些没有添加统计代码的地方,比如后台操作页面。

% c7 x8 z4 x% L9 N8 @- p
绝大多数收费主机都提供原始访问日志,网站服务器会把每一个访客来访时的一些信息自动记录下来,保存在原始访问日志文件中,如果你的主机不提供日志功能,建议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息,包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源,同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等,可以说原始访问日志记录了主机的所有资源使用情况。
( C* n# z: n5 q. D* j0 C- r, M0 X- y
! _( Q6 O: F- q- z# c, i0 ]
分析网站日志有什么作用?
9 X+ {* ]0 k  f1 m/ L! H

( ]' P5 t7 V  k( F' T  D. j

! K  b& q7 h5 _- Q. s
1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销)点此识别Baiduspider真伪 ;
. e8 v* s& b! t! G: s# o" A" z
2、通过分析网站日志,我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短,我们可以依次有针对性的对我们的网站进行微调 ;

3 R  A* f1 V/ O9 J: L* _, q
3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。

5 w# p. K5 n& N
9 R' H" U, u+ o) V+ p
网站日志文件存放在什么地方?
9 F/ y" v6 R0 O3 g* C) d

' h7 W! x8 K$ n' w& h1 r( j

$ S/ f8 V  T5 g- Q/ g
一般的虚拟主机都提供日志文件,但是不同的虚拟主机系统会提供不同的LOG文件存储文件名,笔者使用的是万网的虚拟主机,日志文件存储在wwwlogs文件夹下。

0 B8 s$ Z5 a% w# ?7 h1 L1 T8 s/ J

如何分析网站日志文件

如何分析网站日志文件

4 h9 ~7 b7 X6 e; o2 W: o; }- e: i1 d# S7 c. m" x

6 K. M! O3 D$ W$ ?5 L; {0 _
网站日志文件里面的记录怎么看?

/ Q( v3 q$ k- A* x
' o* P' R7 s7 {5 C. ^
: G; V/ p8 n/ ^- p/ S
原始访问日志每一行就是类似以下的记录:

( K8 c* i$ i* N! h% P* T" u& F! F116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "[color=black !important]http://www.weiaipin.cn" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"
' w4 Z! f% Y" g8 S# P" g
: m0 ^: v* v3 W* e! N4 x* F# o% J

, }6 X9 K( U, U2 N$ H  \% y) f9 h1 _/ W: ?* b
下面我们来说说这一行记录的意思:

7 a) k2 U1 [: r& P" t
5 Q# D. t; H( V8 }5 N& @
116.231.220.179
+ I- o: D7 b2 G
这是访客(也可能是机器人)的IP

9 v) E; _& c( l2 r: ?
. M1 R" a' D7 J! u! W, `/ T
[25/Mar/2015:11:21:15 +0800]
2 w# Q! [3 i4 v/ a4 Z% j
这是访客访问该资源的时间(Date),+0800是该时间所对应的时区,即与格林威治时间相差+8个小时
8 D9 p' `, x% o9 q5 C! r& n

4 J: x2 J! A" X; h9 d0 j, F3 S% x
"GET /blog/article/10.html HTTP/1.1"
3 d0 i4 t5 F% }4 b6 |: |
请求信息,包括请求方式、所请求的资源以及所使用的协议,该语句的意思就是以GET方式,按照HTTP/1.1协议获取网页/blog/article/10.html,10html为网站上的某个页面。
% V6 J$ [2 B9 D
! s% S8 A% {$ P: f# Q9 u
200 8671
  z5 l% b. F; a0 c0 m
200为该请求返回的状态码(Http Code),不同的状态码代表不同的意思,具体请阅读 HTTP 状态代码;8671为此次请求所耗费的流量(Size in Bytes),单位为byte
% a* ?) z% u: V' r

2 J0 [0 V$ k. A! l. O3 E2 y
"htt p://www. weiaipin .cn/"
$ ?0 z0 o- N" [, E' }
为访客来源(Referer)。这一段是告诉我们访客是从哪里来到这一个网页。有可能是你的网站其他页,有可能是来自搜索引擎的搜索页等。通过这条来源信息,你可以揪出盗链者的网页。
/ l' O! k) t2 l% w: K! Y' x1 |9 i

9 j- U) Z  f& L; H
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"
# G' F6 ?! s' ]% n
为访客所使用的浏览器类型(Agent),这里记录了用户使用的操作系统、浏览器型号等信息。
) q. a" I2 t4 s9 n
4 ?  e4 ?, P3 e: L& q
如何分析网站日志中的内容?

0 q2 i9 c* _  T1 W
/ {. o( @1 S! G" n0 F4 d
& U, O& x$ C& i
1、注意那些被频繁访问的资源

  z$ \" s; t' E0 O  y1 ]/ O
如果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。

2 w1 U0 r, x9 o4 U
. \' ^$ l! q9 f( ]; Y+ A6 d' x
2、注意那些你网站上不存在资源的请求
. E. I0 \5 c; [% D  T! F
如果某些请求信息不是本站的资源,Http Code不是403就是404,但从名称分析,可能是保存数据库信息的文件,如果这些信息让别人拿走,那么攻击你的网站就轻松多了。发起这些请求的目的无非就是扫描你的网站漏洞,通过漫无目的地扫描下载这些已知的漏洞文件,很可能会发现你的网站某个漏洞哦!通过观察,可以发现,这些请求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型,以上我提供的日志格式化工具已经集成了对这些请求的警报功能。我们可以通过禁止这些Agent的访问,来达到防止被扫描的目的,具体方法下面再介绍。

) n2 @2 T$ _7 V: s& K9 Y% E; C. H3 e) Z( `! S& L2 L4 {5 C8 H; A

& a  T1 ?* @" r
3、观察搜索引擎蜘蛛的来访情况
- G' }9 _$ q& \( ^5 P
通过观察日志中的信息,你可以看出你的网站被蜘蛛访问的频率,进而可以看出你的网站是否被搜索引擎青睐,这些都是seo所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下:
: Y$ y( Q3 M! C: ~' `. J+ f/ M) l, S
Google蜘蛛 :Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

2 C. f7 w+ T  \) \
Baidu蜘蛛 :Baiduspider+(+http://www.baidu.com/search/spider.htm)

/ K* V. i, ~: |3 @
Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

# ~& V$ T1 Z8 B' A
Yahoo!中国蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

) {. h. w( G+ o$ R1 i- I
微软Bing蜘蛛 :msnbot/2.0b (+http://search.msn.com/msnbot.htm)

$ h1 b$ I; u7 E7 ~5 _4 m
Google Adsense蜘蛛 :Mediapartners-Google
; E' I- g- C/ X0 z6 W) U4 h$ N1 ^
有道蜘蛛 :Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/)
9 p  X) u4 V# B8 J+ _; \
Soso搜搜博客蜘蛛 :Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)

* E6 D. d* j7 ?' E9 `: h
Sogou搜狗蜘蛛 :Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

, R1 x3 F+ B1 P1 ~% f+ g& @# G- S
Twiceler爬虫程序 :Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

* F" E* ~5 C- v1 j+ u% P
Google图片搜索蜘蛛 :Googlebot-Image/1.0

$ u! Z0 ?* c" O1 `0 x
俄罗斯Yandex搜索引擎蜘蛛 :Yandex/1.01.001 (compatible; Win16; I)
' t4 l" @1 G/ N5 U6 y0 h" Q: }
Alexa蜘蛛 :ia_archiver (+http://www.alexa.com/site/help/webmasters)

* l/ x2 F; e9 W- W( ?2 `+ f
Feedsky蜘蛛 :Mozilla 5.0 (compatible; Feedsky crawler /1.0)
1 N) _" |* |( _$ _  x6 W
韩国Yeti蜘蛛:Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
5 s1 o4 U4 p! J% @8 J; {% q

1 H' \5 s( t+ H( y  ~9 F! j* F' Y- s. S% ?
4、观察访客行为
( p0 ~. d) I& h- |! b
通过查看格式化后的日志,可以查看跟踪某个IP在某个时间段的一系列访问行为,单个IP的访问记录越多,说明你的网站PV高,用户粘性好;如果单个IP的访问记录希希,你应该考虑如何将你的网站内容做得更加吸引人了。通过分析访客的行为,可以为你的网站建设提供有力的参考,哪些内容好,哪些内容不好,确定网站的发展方向;通过分析访客的行为,看看他们都干了些什么事,可以揣测访客的用意,及时揪出恶意用户。
  O0 I  W" d- z/ c
* |6 [7 W& m) r" p+ G$ s
常用网站日志分析软件有哪些?
9 V8 [4 x; }0 e& q: S2 P0 x" @- X

4 V! U' e! g4 h) O- s

5 j+ ]) H' V$ r0 y4 P2 ?' j1 o+ \. d- `9 D
笔者试用过很多网站日志分析工具,常用的并且功能又比较全面的大概有三款:光年SEO日志分析系统、逆火网站日志分析器、Web Log Explorer。

& A4 t5 M6 k) N8 a" P& ~
5 o2 ]5 w- @) P! h% Y/ n; _& z, F8 I7 V/ h
原文出处链接:http://www.weiaipin.cn/blog/article/31.html$ [! O$ B( Z  t  f8 {
得知互动论坛原创作者:品哥
4 z' n5 |- I( }. T日期:2015-07-08

回复|共 14 个

Acropozelan 发表于 2015-7-26 13:40:17|美国 | 查看全部
@,@..是什么意思呀?
tohme 发表于 2015-7-26 13:45:49|日本 | 查看全部
这日子没法过了....
GoodyFouppy 发表于 2015-7-26 13:49:44|美国 | 查看全部
下次有人骂我了...我给他还回去..
mwxny 发表于 2015-7-26 13:58:29|中国 | 查看全部
这个得知互动技术交流论坛很不错
effoggikeftor 发表于 2015-12-8 22:25:50|美国 | 查看全部
哎 我我我怎么办啊??
bqtklouu 发表于 2015-12-8 22:26:04|美国 | 查看全部
今天没事来逛逛
GoodyFouppy 发表于 2015-12-8 22:26:14|以色列 | 查看全部
我在顶贴~!~
alapScady 发表于 2015-12-8 22:26:33|IANA | 查看全部
到你的~~贴吧收藏~~~我的发言~`找
GoodyFouppy 发表于 2015-12-8 22:27:02|美国 | 查看全部
本人过去、现在以及将来都不认识楼主,且自古以来与楼主无利益关系。楼主表述之事与本人无关
GoodyFouppy 发表于 2017-4-11 14:56:54|美国 | 查看全部
我不是来为楼主呐喊加油的,也不是对楼主进行围堵攻击的。
tohme 发表于 2017-4-11 14:58:59|罗马尼亚 | 查看全部
感谢党和人民的关爱~~~
wwzcdenleclv 发表于 2017-4-11 14:59:14|美国 | 查看全部
怎么就没人拜我为偶像那??
Mqokjdvq 发表于 2017-4-11 14:59:40|美国 | 查看全部
其实今天baidu 又 抽风了
GoodyFouppy 发表于 2017-4-11 15:03:51|美国 | 查看全部
终于看完了~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表