得知互动
标题: 警惕：新网站谨慎设置robots屏蔽 [打印本页]
作者: swmozowtfl 时间: 2015-5-25 20:39
标题: 警惕：新网站谨慎设置robots屏蔽
众所周知，SEO优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。
" W& [8 k$ V1 B" h% c8 `. Y0 h) H
9 w( Q( @" z# |/ Q0 b/ H* `
6 M# D5 ?& [/ G
事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。
; x2 T; T! p! l, g
前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了93条，搜狗收录了1条，360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。下图上为:site:3w点gzfengbao点com的结果
2 a1 Z a; v8 H# }
(, 下载次数: 13)
1 v# O3 q1 e. ~$ p
+ f6 |3 O; B1 j) d! j2 i前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
7 U w @& e8 |0 w3 ~在此蜗牛SEO慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。
9 T; X" r# L/ {, w* \7 a
; y9 _+ [+ z6 F
本文由上海SEO蜗牛博客原创出品，请大家转载时保留本段内容。大家如有兴趣，可以与蜗牛一起探讨SEO技术，讨论SEO发展前景，或者讨论职业发展与人生梦想。蜗牛期待成为你忠实的朋友。
" U. D; p2 G" m$ b+ ^; a
9 L; t- ]& t L* i. ~
原创文章地址: http://www.woniuseo.com/1037.html
# G! J- _9 l, T$ h9 r9 i8 O搜外原创作者：上海蜗牛SEO
8 G- m; P) I8 ~8 ^3 C" v原创日期：2015-05-23我好像都没有设置到这个诶众所周知，SEO优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。
7 u; p* E+ h. w, y: ~. B4 I8 y) ~5 V8 }$ i5 t# I1 u& p4 S6 k- x
3 N% w r* X% {: _/ l
事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。
, c4 ]. k) @8 S: N& b n
前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了93条，搜狗收录了1条，360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。下图上为:site:3w点gzfengbao点com的结果
$ ]2 r3 n/ |4 c
" `$ m1 R5 F" D- s
0 }) X3 Y: d0 ^% [& l前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
0 p w' d# C V* z1 U在此蜗牛SEO慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。
% x0 |& G! A8 ?( K9 V0 E- ~
" @1 S) m) a# e/ _本文由上海SEO蜗牛博客原创出品，请大家转载时保留本段内容。大家如有兴趣，可以与蜗牛一起探讨SEO技术，讨论SEO发展前景，或者讨论职业发展与人生梦想。蜗牛期待成为你忠实的朋友。
" r6 C+ f. P0 g& ~/ U" s* r; f+ i- P
5 o* s: ]9 y1 T+ I1 D
原创文章地址: http://www.woniuseo.com/1037.html* Y6 N+ }" S/ M% P
搜外原创作者：上海蜗牛SEO, k7 I) H5 p3 F- |2 P' D
原创日期：2015-05-23努力学习 充实自己我对seo和迷茫新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取
作者: GoodyFouppy 时间: 2015-9-15 21:07
呵呵 你想就来嘛～～
作者: bqtklouu 时间: 2015-9-15 21:08
我的我的 忘记了 呵呵
作者: GoodyFouppy 时间: 2015-9-15 21:08
我不是来为楼主呐喊加油的，也不是对楼主进行围堵攻击的。
作者: seazvyt 时间: 2015-9-15 21:08
什么?????不知道......
作者: Mqokjdvq 时间: 2015-9-15 21:08
呵呵 都没人想我~~
作者: Acropozelan 时间: 2015-9-18 13:21
我去看看 网络上的事 我不是很会 哎
作者: alapScady 时间: 2015-9-18 13:21
晚安 别让小嫁再郁闷了 -
作者: buingeEvineus 时间: 2015-9-18 13:22
这篇帖子构思新颖，题材独具匠心，段落清晰，情节诡异，跌宕起伏，主线分明，引人入胜，平淡中显示出不凡的文学功底，可谓是字字珠玑，句句经典，是我辈应当学习之典范（不好意思回错帖了
作者: wwdu926a 时间: 2015-9-18 13:22
(⊙o⊙)…好长啊，我虽然回复不了那么多字，但十五字还是有的。
作者: wwzcdenleclv 时间: 2015-9-18 13:22
阿额~~~这些人都疯特勒~~~~~
| 欢迎光临 得知互动 (https://bbs.dezhifl.com/) |
Powered by Discuz! X3.4 |