众所周知，seo优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。 D( F: S/ J) O; M, H! J
2 T$ o- J, {) ~
. H/ d. P- D9 z- ?, N
事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。 / `" @+ t5 |: r: B$ p5 M' J( j
前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了93条，搜狗收录了1条，360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。下图上为:site:3w点gzfengbao点com的结果
, |5 K& \5 C$ d- R' r+ n0 P3 _6 h
警惕：新网站谨慎设置robots屏蔽
- K' ^6 L* g" k9 H9 I
- @. d8 X6 N: f; C) M
前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
# Q" d% ]( f7 W! B在此蜗牛SEO慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。
}0 U5 B; @/ O: n1 \4 b% v5 i2 b' I/ a9 J6 r
本文由上海SEO蜗牛博客原创出品，请大家转载时保留本段内容。大家如有兴趣，可以与蜗牛一起探讨seo技术，讨论SEO发展前景，或者讨论职业发展与人生梦想。蜗牛期待成为你忠实的朋友。
* j7 N9 ~0 |/ N1 W2 q5 M C J
" A7 z9 w& `- ?6 ]3 E7 Q2 j原创文章地址: http://www.woniuseo.com/1037.html/ |3 h0 p; ?0 H; V6 _
搜外原创作者：上海蜗牛SEO
' F1 c# @# L: s8 m, q8 F/ i. e7 {8 U原创日期：2015-05-23我好像都没有设置到这个诶众所周知，SEO优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。
U$ ^ }2 r. M! m5 g: L2 B: l6 Q* ]) a; P
, P4 R* F5 e( ?4 f6 Y事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。 , b* @3 H/ h+ | Q; C5 z9 j+ {
前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了93条，搜狗收录了1条，360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。下图上为:site:3w点gzfengbao点com的结果 2 y1 G- U* B. G2 E) k0 ^ f8 v' G
- g: s9 i: @4 F' M' |! \
2 s* ]$ @' H0 j
前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。 " f0 T4 a3 g/ ? C
在此蜗牛SEO慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。
9 z: x8 s( u5 x) h6 F& p) K
' C" w* e* {1 G; d) i @3 {本文由上海SEO蜗牛博客原创出品，请大家转载时保留本段内容。大家如有兴趣，可以与蜗牛一起探讨SEO技术，讨论SEO发展前景，或者讨论职业发展与人生梦想。蜗牛期待成为你忠实的朋友。
3 G, c2 F5 q* u! b$ @2 [$ \+ Y5 @- z u( l
原创文章地址: http://www.woniuseo.com/1037.html- t+ I4 q1 x( @4 L7 |- g% F$ r( ]
搜外原创作者：上海蜗牛SEO4 W' c- r3 k. A
原创日期：2015-05-23努力学习 充实自己我对seo和迷茫新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取 |
外卖新店开业第一周开推广，十家九家亏101打酱油
Ai优选商家寻找本地地推合作伙伴11323求项目与合作
拥抱AI搜索新时代！GEO优化成为企业流量增1717网络资讯
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡