如果你的博客或网站是搭建在付费主机上，如果你是博客或网站的站长，如果你连原始访问日志是什么都不知道，或者对其根本不屑一顾，我只能说你是一个不称职的网站站长，一旦网站出问题，必定是束手无策！相信大家都在自己的网站上安装了网站统计的代码，如Google analytics、量子统计、百度统计、cnzz、51.la等，这些工具可以统计网站的流量，也就是网站**客可以看到的所有页面的访问量，但是这些统计工具都不能统计你主机上资源的原始访问信息，例如某个图片被谁下载了，也不能统计到那些没有添加统计代码的地方，比如后台操作页面。
5 b9 k, z6 A/ ?5 Z0 S( o8 G& U绝大多数收费主机都提供原始访问日志，网站服务器会把每一个访客来访时的一些信息自动记录下来，保存在原始访问日志文件中，如果你的主机不提供日志功能，建议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息，包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源，同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等，可以说原始访问日志记录了主机的所有资源使用情况。 % Q0 s- |- d& R( z S
- Z T1 j- {# M8 i4 O# N
分析网站日志有什么作用？ 2 a. \. |+ l1 w* \- E
7 s7 c& k i, S& G0 |
5 [- v0 A. z/ h- Z G1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数，可以屏蔽伪蜘蛛（此类蜘蛛多以采集为主，会增加我们服务器的开销）点此识别Baiduspider真伪 ；
& F* ]9 a9 ~* i$ j2、通过分析网站日志，我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短，我们可以依次有针对性的对我们的网站进行微调 ；
# ^1 p5 Q$ K. ~0 L6 I3、http返回状态码，搜索引擎蜘蛛以及用户每访问我们的网站一次，服务器端都会产生类似301，404，200的状态吗，我们可以参照此类信息，对我们出现问题的网站进行简单的诊断，及时处理问题。 # r" ?! m, a' ?. m6 J, R X
& B0 j( T1 ^* K; G网站日志文件存放在什么地方？
2 q2 U+ g2 w+ w1 W2 c3 W. F: E+ X7 `2 ^; \% @: i
$ k7 K3 t9 ?# G一般的虚拟主机都提供日志文件，但是不同的虚拟主机系统会提供不同的LOG文件存储文件名，笔者使用的是万网的虚拟主机，日志文件存储在wwwlogs文件夹下。
% m7 J; \/ N5 J/ T. f
如何分析网站日志文件
& V+ }. B9 Z4 Y
' x# {; z4 t9 k
+ E, s& E8 ?, f
网站日志文件里面的记录怎么看？ 0 r3 t& c! ^( }* d! R; B2 c* E/ ?; h0 y9 r" L
- ~0 t6 {5 a. I1 o: c' K
B4 N# H/ {; p6 v' l4 j) m
原始访问日志每一行就是类似以下的记录： 6 y/ f; a' |4 } A
116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "[color=black !important]http://www.weiaipin.cn" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"5 C1 M$ w5 G t
3 F. `$ N1 G3 t$ {# ?) q& m/ D
6 \- d# ]; ]8 l
?. \7 f7 b* s% T: L( m- Q下面我们来说说这一行记录的意思：
" Z w* X6 C) c* B$ H/ g- u' N: S' Z" A% h# s: K! p
116.231.220.179 5 z. T4 s! ?9 f
这是访客（也可能是机器人）的IP
5 n7 }* E4 [$ ~0 m. w. e' F2 j* T8 y, O( e3 \* R/ e/ o9 A
[25/Mar/2015:11:21:15 +0800]
1 X5 k: ]8 c* f }这是访客访问该资源的时间（Date），+0800是该时间所对应的时区，即与格林威治时间相差+8个小时
" n) ^' T5 ^* O1 t
/ L5 V' T- c: [% K"GET /blog/article/10.html HTTP/1.1" 7 ]8 T- |- M' Y1 n
请求信息，包括请求方式、所请求的资源以及所使用的协议，该语句的意思就是以GET方式，按照HTTP/1.1协议获取网页/blog/article/10.html，10html为网站上的某个页面。
8 H O3 t0 u* u1 c5 L6 ?
( c d% f5 L0 ]5 o: Z/ x3 V200 8671
2 `: Z- m/ L. ?+ P* M4 t200为该请求返回的状态码（Http Code），不同的状态码代表不同的意思，具体请阅读 HTTP 状态代码；8671为此次请求所耗费的流量（Size in Bytes），单位为byte % Q( u1 I9 A9 L s# A/ M2 g
8 a+ U. I* R1 ^1 I& [) `# C
"htt p://www. weiaipin .cn/"
/ H" I& o) k9 G为访客来源（Referer）。这一段是告诉我们访客是从哪里来到这一个网页。有可能是你的网站其他页，有可能是来自搜索引擎的搜索页等。通过这条来源信息，你可以揪出盗链者的网页。
5 F( C, Q8 _$ R. A1 @
4 D, `5 c+ V2 N* o9 H"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)" $ c* v1 q4 X9 e( }% ^
为访客所使用的浏览器类型（Agent），这里记录了用户使用的操作系统、浏览器型号等信息。 - J8 v$ {; p- m! x' E! T
- ]) K: o% m# W, Z8 ^. Q' m. E如何分析网站日志中的内容？ . Q8 \+ n1 O# @
6 W$ [& K/ X4 z9 `6 e
% ^$ l9 A! @0 L0 Q, T1 D: }& x1、注意那些被频繁访问的资源 ' U3 f2 m# J( Y$ C5 w/ }
如果在日志中，你发现某个资源（网页、图片和mp3等）被人频繁访问，那你应该注意该资源被用于何处了！如果这些请求的来源（Referer）不是你的网站或者为空，且状态码（Http Code）为200，说明你的这些资源很可能被人盗链了，通过 Referer 你可以查出盗链者的网址，这可能就是你的网站流量暴增的原因，你应该做好防盗链了。
' l! {! u$ U- w' D0 m+ Y) L" t A% }9 Y1 N6 d
2、注意那些你网站上不存在资源的请求 5 z" S& M( C) b! C
如果某些请求信息不是本站的资源，Http Code不是403就是404，但从名称分析，可能是保存数据库信息的文件，如果这些信息让别人拿走，那么攻击你的网站就轻松多了。发起这些请求的目的无非就是扫描你的网站漏洞，通过漫无目的地扫描下载这些已知的漏洞文件，很可能会发现你的网站某个漏洞哦！通过观察，可以发现，这些请求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型，以上我提供的日志格式化工具已经集成了对这些请求的警报功能。我们可以通过禁止这些Agent的访问，来达到防止被扫描的目的，具体方法下面再介绍。
( i' p2 ~( M" t
* I+ _0 A- D0 q" v: v& Y- L
* l: u$ Q- i; f. i- K" A, w3、观察搜索引擎蜘蛛的来访情况
# {, ], e' z: m, Q( H: y通过观察日志中的信息，你可以看出你的网站被蜘蛛访问的频率，进而可以看出你的网站是否被搜索引擎青睐，这些都是seo所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下： $ y. U+ m. o) M) o+ ^
Google蜘蛛 ：Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html） 7 B# H+ `" R/ C, x+ u- c
Baidu蜘蛛 ：Baiduspider+（+http://www.baidu.com/search/spider.htm）
) D W: ~4 Y9 m( Z' gYahoo！蜘蛛 ：Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp） 6 g# e2 P3 O% g1 p7 G; B
Yahoo！中国蜘蛛 ：Mozilla/5.0 （compatible; Yahoo！ Slurp China; http://misc.yahoo.com.cn/help.html）
+ B8 {8 v- n; m. _' h; }微软Bing蜘蛛 ：msnbot/2.0b （+http://search.msn.com/msnbot.htm）
* E* n& Q4 O, ]1 ?0 w) H& Z8 tGoogle Adsense蜘蛛 ：Mediapartners-Google
% q8 m- v, K" L9 z1 H6 a$ }有道蜘蛛 ：Mozilla/5.0 （compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/） 5 a4 e2 E) a9 l- c2 ]
Soso搜搜博客蜘蛛 ：Sosoblogspider+（+http://help.soso.com/soso-blog-spider.htm） ! S3 A4 P# D0 G# p8 M8 R5 G
Sogou搜狗蜘蛛 ：Sogou web spider/4.0（+http://www.sogou.com/docs/help/webmasters.htm#07）
6 N; @6 I; a; ]* G0 b4 g' XTwiceler爬虫程序 ：Mozilla/5.0 （Twiceler-0.9 http://www.cuil.com/twiceler/robot.html）
+ P6 c4 p2 M+ ^. W' o c, b3 mGoogle图片搜索蜘蛛 ：Googlebot-Image/1.0
/ A% K2 k+ ^% O俄罗斯Yandex搜索引擎蜘蛛 ：Yandex/1.01.001 （compatible; Win16; I） ) \6 r' O, i) m/ U _
Alexa蜘蛛 ：ia_archiver （+http://www.alexa.com/site/help/webmasters）
: o1 S; ]% h6 L- J& k2 }2 ]Feedsky蜘蛛 ：Mozilla 5.0 （compatible; Feedsky crawler /1.0） L! K& _+ J, x. I) \
韩国Yeti蜘蛛：Yeti/1.0 （NHN Corp.; http://help.naver.com/robots/）
# d h- H" d, {! w0 k4 f3 O
1 o0 }$ @) j" k% A8 z( d' _: G' {# R5 V: Z" @
4、观察访客行为
! U3 c7 y9 z( v" B- ?4 ?9 i7 {通过查看格式化后的日志，可以查看跟踪某个IP在某个时间段的一系列访问行为，单个IP的访问记录越多，说明你的网站PV高，用户粘性好；如果单个IP的访问记录希希，你应该考虑如何将你的网站内容做得更加吸引人了。通过分析访客的行为，可以为你的网站建设提供有力的参考，哪些内容好，哪些内容不好，确定网站的发展方向；通过分析访客的行为，看看他们都干了些什么事，可以揣测访客的用意，及时揪出恶意用户。
5 A U: y. N7 w/ q5 i% A
6 }3 S$ A3 v1 m' L0 q常用网站日志分析软件有哪些？ ' V1 b) c. j7 M. H
4 { j4 Q( Z W. H) `3 H0 h7 v
4 i: e5 b# e# r8 H6 h i/ c! L笔者试用过很多网站日志分析工具，常用的并且功能又比较全面的大概有三款：光年SEO日志分析系统、逆火网站日志分析器、Web Log Explorer。
* T' E0 ^. [6 {& j$ }9 e) L+ y8 f: p- T- i; E
4 F6 ?1 o" H& T5 }( C原文出处链接：http://www.weiaipin.cn/blog/article/31.html. H Q8 _" D. {! f9 ?1 u+ ~
得知互动论坛原创作者：品哥
+ G$ p6 v" S" r日期：2015-07-08 | 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
