我们要学会如何分析网站日志，通过网站日志文件我们可以很清楚的看到有哪些搜索引擎蜘蛛光临我们的网站，蜘蛛都爬取了哪些目录以及通过日志我们还可以发现网站表面上看不到的问题，如404等，网站默认是允许所有蜘蛛进行抓取，大家可以通过根目录下的robots.txt文件来控制蜘蛛的抓取目录以及允许哪些蜘蛛过来，这里就robots.txt文件怎么写就详细说了，小编下面就为大家简单介绍一下如何分析网站日志：
( O! X$ b; L/ W
# e5 V% r7 f' k+ |- s 1、各搜索引擎抓取本站的情况
0 S% E9 S9 L1 o, K3 K- X' H4 d! ^0 p9 i3 p
每个搜索引擎都有自己的蜘蛛名称(机器人)，通过网站日志可以看到哪些搜索引擎来光临自己的网站，爬取了哪些目录，以及蜘蛛过来的时间等，如百度蜘蛛是Baiduspider，我么可以Ctrl+F查找一下，查看百度是什么时间过来，抓取了哪些页面，通过查看蜘蛛爬取目录或页面的频率我们还能知道哪个目录或页面最吸引蜘蛛。
- m& j2 y' A: k2 r5 `( I7 |7 N! z# U; q r+ ~* ~* n
2、网站目录抓取和收录情况; U% p" v/ K5 P( w
2 g( ^* W+ T# ^( [: R2 D9 Z- L
一般网站的结构是树形或扁平结构，蜘蛛按照网站结构目录一层一层的抓取是合理的，如果发现某个目录爬取频率比较高，但是收录的内容少，这时候就要注意这个目录下页面（内容）的质量了，就算写不了原创，也要注意深度伪原创，千万不要大量采集。" K5 e! g/ C% ~! w& a9 W
# ?0 o+ k! g& [! m# V# x" x 3、页面的抓取时间9 a# X/ g: c$ a. U/ n
S# T- ]4 \, t' r 通过网站日志可以分析每个页面的抓取次数和抓取时间，从而了解蜘蛛的喜好和抓取规律，包括哪个时间点来的比较频繁，如果有新页面想要搜索引擎尽快收录，我们可以在搜索引擎蜘蛛爬取最频繁的页面上（如首页）加入新页面的入口，而且最好在蜘蛛来的最频繁的那个时间点之前添加好新的内容。
/ ?' v" _) I, {' Q 4、页面状态码! `4 Z* l# [8 {$ w- L
http状态码，seo常见的有301,302和404,蜘蛛每爬取页面都会返回一个状态码，如果是200代表正常，如果是301说明这个页面是跳转页面，如果是302代表临时跳转，最重要的是404错误码，如果发现某个抓取返回的是404，我们要赶快诊断一下说明原因返回404（误删还是移走了），网站最好都设置一个404的页面，这样才对蜘蛛显得友好，遇到404的页面链接，百度站长工具有提交死链的工具，也去提交一下，让百度知道并处理。. m/ I5 B* ]4 n" Y+ r
; x" H$ p' L4 J2 @
其实分析网站日志很简单，看一遍就知道规律了，ip+时间+蜘蛛名+返回码+抓取目录，一条记录就这么多内容，没什么繁杂看不懂的。网上有一些日志分析的软件，看的更直观。7 R8 V# s) X" z' D
( P, q1 V! y4 ~' S8 m8 H7 m
0 Y9 Y* ?% \$ R4 r* k) C |
