其实做网站这么久以来，关于robots文件设置无效，百度依旧抓取，这个问题一直让我疑问。
$ ?3 s' ]; t% z8 [4 }# q& C ` 一开始以为没设置好，但测试了好几次，确定规则没错，所以在度娘找了好久，但问这问题的人不多，我看到一篇文章说百度对robots.txt文件的遵守很不彻底。文章已是2012-11-27发布的了，时隔1年半，貌似种情况并没有变，在2012互联网界对360不遵守robots.txt文件进行了群批，但百度强调自己遵守robots.txt协议。但直到现，我对很多网站都做了分析，对于robots.txt文件百度仍旧遵守的很不彻底。看了很多个网站的日志，设置的robots.txt很快就生效了，但唯有百度，还在对禁止目录在抓取。很多站长肯定在想，可能是没有生效，但我在百度工具更新了，而且日志上，百度对robots.txt文件抓取也不止一次。: X0 P5 F9 u0 p) {' O
" Q M, q( S9 o% d" N 这个其中一个网站的robots文件，五、六天前就更新了的。
- S" T) t: D1 g" F) T) W5 E
8 ]9 U2 j( M: r3 R
关于robots文件设置无效，百度依旧抓取。
( a' L# L0 W& _$ Q; v. l
$ u u$ D" U/ C8 j4 Y
" p; ^, j8 j& ~6 K5 W+ } 这是现在的日志，大家可以看看 8 j' C- S' u1 O0 t7 l8 `. T4 ~) e
, R- s4 d3 @ Q R9 M9 n. _" E6 `. r% {0 L1 b
关于robots文件设置无效，百度依旧抓取。
) f( o+ s# P+ Y- a. ^ : T$ @/ o M/ w$ h( B' v5 L2 W
7 L. v& B* j4 t+ I
; @) N* O0 @& t' t# r6 J' k
还在爬，貌还未生效，但谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录，我做的另一个网站，设置了robots文件也是这样，后来实在找不到原因我都没理过了，不知过了多久，禁止的目录逐渐没了抓取的记录，我也是醉了。为啥人家谷歌，雅虎反应这么快，百度作为中文最大的搜索引擎，对于一个小小的robots文件却迟迟不生效，这里面到底有什么原因？这个貌似只有百度自己知道了。 ! u: s. ?4 U! c1 h- C7 r
: P# r, b8 o1 A
- w) \: G* C7 `$ s) q, c) k! [原文出处链接：http://www.xtcsb.com/a/xinwenzixun/gongsixinwen/2015/0414/141.html% N# ]! A1 K8 Z/ O
搜外论坛原创作者：xintai
7 X2 ~+ x* ^ i1 Z6 v0 S日期：2015-4-140 L. i8 I& |+ N4 K8 @3 ]8 L
8 W* Y6 h" \% z云鼎公司（http://onlykey.cn/35）专业的技术研究团队保障平台游戏环境顺畅，以优质的服务方式及丰富的**性，给客户高品质的服务**，秉承“诚信、责任、团队、敬业”的服务宗旨。$ S/ x* f) J4 K t3 R' e
) N: @; o- W3 w( x8 m 其实做网站这么久以来，关于robots文件设置无效，百度依旧抓取，这个问题一直让我疑问。; f) k0 z5 b2 l, _& Q8 _) Z
一开始以为没设置好，但测试了好几次，确定规则没错，所以在度娘找了好久，但问这问题的人不多，我看到一篇文章说百度对robots.txt文件的遵守很不彻底。文章已是2012-11-27发布的了，时隔1年半，貌似种情况并没有变，在2012互联网界对360不遵守robots.txt文件进行了群批，但百度强调自己遵守robots.txt协议。但直到现，我对很多网站都做了分析，对于robots.txt文件百度仍旧遵守的很不彻底。看了很多个网站的日志，设置的robots.txt很快就生效了，但唯有百度，还在对禁止目录在抓取。很多站长肯定在想，可能是没有生效，但我在百度工具更新了，而且日志上，百度对robots.txt文件抓取也不止一次。
. \. n7 @1 }: F
5 |1 S* H7 x) t, y 这个其中一个网站的robots文件，五、六天前就更新了的。
# A2 f+ c) R8 {/ l$ T
9 r# a; S2 m, P8 H+ g4 T$ X9 S$ I4 A* f! y4 r" P! ~8 C
3 ~! J, q9 X0 y4 I6 L6 F
% }- [# I+ X# q# y# p 这是现在的日志，大家可以看看 3 d4 c4 C# d4 U+ X+ [! ^) `
4 d4 m. Q% ]# [# n# C" A. k. D% J* u! I' O+ p8 C' N4 Y) ?8 j
, v4 Y/ T9 j O# r" l. @$ t: G- q
. h# _7 ~+ P3 b. U0 u# N# o) U; Q* V+ Z6 p c0 N
2 h5 h" F# m# `% O5 W# q 还在爬，貌还未生效，但谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录，我做的另一个网站，设置了robots文件也是这样，后来实在找不到原因我都没理过了，不知过了多久，禁止的目录逐渐没了抓取的记录，我也是醉了。为啥人家谷歌，雅虎反应这么快，百度作为中文最大的搜索引擎，对于一个小小的robots文件却迟迟不生效，这里面到底有什么原因？这个貌似只有百度自己知道了。
: ?( n* s% _, V# j) u
- d4 l* l1 ?' K& t- M# A0 h+ A8 f' T5 ?3 y! d; o
原文出处链接：http://www.xtcsb.com/a/xinwenzixun/gongsixinwen/2015/0414/141.html
% A1 q& @1 s2 n j% Y- W( b% y搜外论坛原创作者：xintai! v( q" h1 y* h. @
日期：2015-4-14
* S2 n G& x4 M, N Y4 @8 G) g9 c0 ^
& X$ s' E' g' Z7 x2 _谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录默默的赞一个 |
Ai优选商家寻找本地地推合作伙伴303求项目与合作
拥抱AI搜索新时代！GEO优化成为企业流量增909网络资讯
GEO优化如何让企业流量翻倍？808网络资讯
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡