得知互动

标题: 关于robots文件设置无效，百度依旧抓取。 [打印本页]
作者: swmozowtfl    时间: 2015-4-22 22:04
标题: 关于robots文件设置无效，百度依旧抓取。
其实做网站这么久以来，关于robots文件设置无效，百度依旧抓取，这个问题一直让我疑问。
$ y! A  V2 X" }        一开始以为没设置好，但测试了好几次，确定规则没错，所以在度娘找了好久，但问这问题的人不多，我看到一篇文章说百度对robots.txt文件的遵守很不彻底。文章已是2012-11-27发布的了，时隔1年半，貌似种情况并没有变，在2012互联网界对360不遵守robots.txt文件进行了群批，但百度强调自己遵守robots.txt协议。但直到现，我对很多网站都做了分析，对于robots.txt文件百度仍旧遵守的很不彻底。看了很多个网站的日志，设置的robots.txt很快就生效了，但唯有百度，还在对禁止目录在抓取。很多站长肯定在想，可能是没有生效，但我在百度工具更新了，而且日志上，百度对robots.txt文件抓取也不止一次。6 v  y; k+ u7 Z( r1 O
      1 L$ U' j9 Z9 c7 v: L
      这个其中一个网站的robots文件，五、六天前就更新了的。0 f1 j9 t- b! d+ I/ \6 V" I
$ P6 c0 @5 r1 a! \
(, 下载次数: 2)

2 N! }. ^' q( C, X' h# e$ \, F5 D$ d) I! }

  v! C* e( M5 i+ R7 i6 Q7 L
        这是现在的日志，大家可以看看

" r2 @* T' s; }* z, S% P" M5 b0 p$ `( m  [5 u
  Q& A! W' V, d9 x- p
(, 下载次数: 10)
) G- l( S! y. b

$ L5 \3 {$ L: i% V
) D& S8 K* i% {0 Z* ~6 u- A; j4 R5 O6 G) _% b! |
          还在爬，貌还未生效，但谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录，我做的另一个网站，设置了robots文件也是这样，后来实在找不到原因我都没理过了，不知过了多久，禁止的目录逐渐没了抓取的记录，我也是醉了。为啥人家谷歌，雅虎反应这么快，百度作为中文最大的搜索引擎，对于一个小小的robots文件却迟迟不生效，这里面到底有什么原因？这个貌似只有百度自己知道了。
3 S+ ?' w& G( P8 @# |, t! @) B* h

. v, e9 f: v7 Q$ V1 y+ Y3 ~& ]1 B. |4 I
原文出处链接：http://www.xtcsb.com/a/xinwenzixun/gongsixinwen/2015/0414/141.html% I! w- o5 g- J" [# D
搜外论坛原创作者：xintai
; ]6 ]9 X' W9 B7 ~! G( j9 e- g7 s日期：2015-4-14
3 ~. |: T& O/ n3 s" h* A$ h
; J  z* g- a2 n5 t5 f# {9 z云鼎公司（http://onlykey.cn/35）专业的技术研究团队保障平台游戏环境顺畅，以优质的服务方式及丰富的**性，给客户高品质的服务**，秉承“诚信、责任、团队、敬业”的服务宗旨。
" K' i# P! \& o; @; j
; ]+ J8 M% j, Q. ~9 O! j7 ]1 l& S$ g0 n         其实做网站这么久以来，关于robots文件设置无效，百度依旧抓取，这个问题一直让我疑问。7 Z, v* E# X9 x5 w1 m. v
        一开始以为没设置好，但测试了好几次，确定规则没错，所以在度娘找了好久，但问这问题的人不多，我看到一篇文章说百度对robots.txt文件的遵守很不彻底。文章已是2012-11-27发布的了，时隔1年半，貌似种情况并没有变，在2012互联网界对360不遵守robots.txt文件进行了群批，但百度强调自己遵守robots.txt协议。但直到现，我对很多网站都做了分析，对于robots.txt文件百度仍旧遵守的很不彻底。看了很多个网站的日志，设置的robots.txt很快就生效了，但唯有百度，还在对禁止目录在抓取。很多站长肯定在想，可能是没有生效，但我在百度工具更新了，而且日志上，百度对robots.txt文件抓取也不止一次。1 K$ P9 o# C- w) i, G# w1 O
      
! d, Q9 C" F0 g& b" J5 F2 C2 e      这个其中一个网站的robots文件，五、六天前就更新了的。
$ _7 k' _  O% j* p, ?
* B& L9 g/ s8 b# K5 Y* S2 Q

* C' i! p+ P) R
% [! Y7 ?4 q: O- b. i/ L' V: Z6 i7 {
1 u3 g' u. \7 P. ]
        这是现在的日志，大家可以看看

' k4 n* o; |3 @( I1 p) I0 e& |

' K- ^) S0 \( T5 @4 m: Y
5 H# f5 w2 ?- @) d
5 H  z& D: S/ B
  B( R0 ]9 r5 o! B1 g
8 t, A: e/ T$ ]/ F4 F$ B  A. n
          还在爬，貌还未生效，但谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录，我做的另一个网站，设置了robots文件也是这样，后来实在找不到原因我都没理过了，不知过了多久，禁止的目录逐渐没了抓取的记录，我也是醉了。为啥人家谷歌，雅虎反应这么快，百度作为中文最大的搜索引擎，对于一个小小的robots文件却迟迟不生效，这里面到底有什么原因？这个貌似只有百度自己知道了。
) h) Z* d. y! d

  n# W: G3 f: I; w# N% k% P3 p5 ^  b! g3 S9 o6 d
原文出处链接：http://www.xtcsb.com/a/xinwenzixun/gongsixinwen/2015/0414/141.html  ]' V5 W5 f1 c+ s5 O; g% D5 H7 C
搜外论坛原创作者：xintai
# j( k  [: z6 I& _  z, W日期：2015-4-14
) I- n- ?$ t" ^8 W
; o; N/ J4 G( V  g8 M谷歌和其他的蜘蛛早早就看不到他们在爬取禁止的目录默默的赞一个
作者: mwxny    时间: 2015-12-17 22:23
注:偶是女滴,千真万确,毋庸置疑!
作者: tohme    时间: 2015-12-17 22:24
照你这么说真的有道理哦 呵呵 不进沙子馁~~~
作者: wwzcdenleclv    时间: 2015-12-17 22:25
激动了就不好办了..
作者: bqtklouu    时间: 2015-12-17 22:25
下次有人骂我了...我给他还回去..
作者: seazvyt    时间: 2015-12-17 22:25
不早了 明天见 各位晚安~~~~
作者: buingeEvineus    时间: 2015-12-30 16:25
嘿嘿...没事我才不骂人呢...
作者: Acropozelan    时间: 2015-12-30 16:25
怎么这么跟别人不一样类~
作者: buingeEvineus    时间: 2015-12-30 16:26
女人啊真是那句话~~~无理占三分~~忘记怎么说了 呵呵 ~~你帮我想想
作者: effoggikeftor    时间: 2015-12-30 16:26
我又回复了



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4